求一款 Mac 或 Win 上，抓取 html 爬虫 down 到本地的软件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 3662 days ago, the information mentioned may be changed or developed.

看了大多数爬虫，都是 java 的。

现在需求时，希望能在本地运行的。最好是 Mac ，不行就 win ，再不行就 php 吧

直接把 h tml 全部 down 下来就行。自动按照正则去爬

爬虫

Mac

Win

down

14 replies • 2016-04-27 19:19:33 +08:00

13348859836

Apr 27, 2016

python 的爬虫框架多随便找一个吧

zhouxuchen

Apr 27, 2016

life is short, you need pyquery

xiamx

Apr 27, 2016

html is context free grammar btw

jnduan

Apr 27, 2016

java 的就不能本地运行了？

那你用 Offline Explorer 吧

sadhen

Apr 27, 2016

不太理解楼主的需求

貌似是把 HTML 全部下载到本地后，再在没有网络环境的情况下抓取信息是么？

还是普通的爬虫框架？

pr2b

Apr 27, 2016 via iPad

@sadhen 是按照正则顺序爬，然后把 html 都 down 到本地。

正在研究火车头🚄 ，就是保存 html 的一步还没有成功

@jnduan 的浏览器，没找到在哪里写网址规则。

cxbig

Apr 27, 2016

php/ruby/python 随便哪个语言都可以，手写一个百来行。

SCaffrey

Apr 27, 2016

nodejs/python

Tink

PRO

Apr 27, 2016

这个貌似叫离线浏览器？

wmhx

Apr 27, 2016

wget 啊, 一丢丢的

qq839994901

Apr 27, 2016

scrapy

Ouyangan

Apr 27, 2016

java 不能本地么......

break

Apr 27, 2016 via iPhone

都是 html 的话， wget 就可以了， wget 的镜像复制命令

imn1

Apr 27, 2016

爬虫很多，能用正则的不多