有什么开源爬虫，请推荐

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 3867 days ago, the information mentioned may be changed or developed.

是这样，我打算撸个小破网站，专门发布那些类似 “新用户注册，享受 xx 优惠”的新闻。全靠手动不行啊，所以想找个合适的爬虫。大家推荐下呗。
谢谢

爬虫

推荐

开源

不行

42 replies • 2015-09-30 09:36:04 +08:00

soratadori

Sep 28, 2015

自己写啊，又不难

wangd

Sep 29, 2015 via iPhone

scrapy

pupboss

Sep 29, 2015

一流社区靠信仰，二流社区靠主题，三流社区靠福利

heian0224

Sep 29, 2015 via Android

@pupboss
所以 v2 是几流社区呢

pupboss

Sep 29, 2015

@heian0224 我加入时间很短，没资格评论...

imlonghao

Sep 29, 2015

pyspider

msg7086

Sep 29, 2015

@heian0224 1+2+3 = ?

zts1993

Sep 29, 2015 via Android

scrapy 啊

gzlock

Sep 29, 2015 via Android

nodejs 也挺容易啊，昨晚写了个队列任务+多线程采集，开了 50 个线程做测试， console 刷的飞快， 2333

tobyxdd

Sep 29, 2015 via Android

v2ex 六流社区😂😂

gzlock

Sep 29, 2015 via Android

@tobyxdd 吃枣药丸系列？

mariadb

Sep 29, 2015

@gzlock node.js 还有多线程？？？

jedyu

Sep 29, 2015

@msg7086 1+2+3 =t66y

jimmyzhang33

Sep 29, 2015

scrapy 吧，看一下教程，基本功能就可以实现了。

des

Sep 29, 2015 via Android

@gzlock nodejs 多线程支持好像不好？

ssltest

Sep 29, 2015

你这个问题问的好符合我的心意啊，以下内容希望你会喜欢。
http://project.codefrom.com/?w=%E7%88%AC%E8%99%AB
http://project.codefrom.com/?w=spider

sewyu

Sep 29, 2015

@ssltest 对，你这个网站我也是昨天才发现的。非常好谢谢
@jimmyzhang33 真没接触过，我这几天看一下材料，谢谢

XianZaiZhuCe

Sep 29, 2015 via Android

@pupboss 我觉得福利第一位。

plqws

Sep 29, 2015

同样推荐 pySpider

kepenj

Sep 29, 2015

改主题吧~ 专抓 1024 最新福利~ 保准大神分分钟出现解决各种疑难杂症~

Daddy

Sep 29, 2015

@pupboss 一流手机靠信仰，二流手机靠主题，三流手机靠福利？

vitovan

Sep 29, 2015

http://vitovan.github.io/such-cute/index-cn.html

alexinit

Sep 29, 2015

绝对是 scrapy

sewyu

Sep 29, 2015

@kepenj 哈哈，我其实就想抓来自己用，不是经常有一些网站有这种活动么，比如新注册的用户可以 1 元买水果什么的。如果能抓到这些信息分享出来就完美了。
@vitovan 谢谢，学习一下

north521

Sep 29, 2015

webmagic

assassinpig

Sep 29, 2015

小的自己写了就是日后经常用个框架

gzlock

Sep 29, 2015 via Android

@mariadb 有，搜 child_process 可以查到用法，我直接用 fork 方法建立线程，很方便

@des nodejs 里一样是子线程，跟其它语言一样，都是可以控制整个子线程的生命周期和线程间通信，怎么去区分好不好呢？

mariadb

Sep 29, 2015

@gzlock child_process 是创建多个进程，不是多个线程

PandaSaury

Sep 29, 2015

自己造轮子吧

PandaSaury

Sep 29, 2015

php + swoole

gzlock

Sep 29, 2015

@mariadb 没法使用主进程的变量而已

Chrics

Sep 29, 2015

scrapy

yytsjq

Sep 29, 2015

PHP Simple HTML DOM Parser

Tink

PRO

Sep 29, 2015

自己提取

MicroPan

Sep 29, 2015

java 的话推荐 webmagic

des

Sep 29, 2015 via Android

@gzlock 应该是子进程，有个管理进程的包。但也是新的 vm ，并不共享

xpol

Sep 29, 2015

没人推荐 Ruby 方案吗？我来一发： https://github.com/postmodern/spidr

hjkl0001

Sep 29, 2015

scrapy

paperpeper

Sep 29, 2015

scrapy ++

hjkl0001

Sep 29, 2015

使用 scrapy

hcl

Sep 29, 2015

PHP 环境下可以用 Goutte （ https://github.com/FriendsOfPHP/Goutte ）

magicyu1986

Sep 30, 2015

....Nutch?