This topic created in 4770 days ago, the information mentioned may be changed or developed.
之前没想过把他做成产品只是按照自己的实际需求做，断断续续用业余时间做了快两年，为了完成这个项目在去年12月断然离职到现在全职做了4个月，
现在总算是可以晒出来给大家用用了。
他是一款WEB版的通用型网页数据采集工具，我叫他鸟巢采集器。
鸟巢采集器拥有强大的内容采集和数据过滤功能，基于JAVA语言开发，是平台无关的可以在任何系统上运行。
鸟巢采集器分WEB端和后端应用，WEB端不干预后端应用的逻辑只为后端应用提供可视化的操作界面，后端应用完全由用户部署管理，包含“采集器应用”、“爬虫池应用”、“爬虫应用”。
通过WEB端对后端应用的接入，可以对后端应用进行可视化管理。
鸟巢采集器访问地址:
http://www.newcrawler.com/
鸟巢采集器能做些什么：
采集数据、博客迁移、友情链接检查、定向采集实现垂直搜索 等等。
鸟巢采集器相比其它采集器的优势：
1、平台无关，可以在任何系统上运行如：Linux、Windows ...
2、可以运行在云环境 PAAS 平台上如：Google App Engine 、Sina App Engine 、AppFog ...
3、Raspberry Pi 也是支持的。
4、提供四种插件，让鸟巢采集器可以满足更多更复杂的需求。
5、可以将采集到的数据以文本或附件的形式发布到指定的邮箱，如推送资讯到Kindle。
6、使用WEB的管理方式，可以在任何终端上操作。
总之最大的优势是WEB版平台无关，其它核心功能也都有。
目前唯一一个在用鸟巢采集器抓取数据的网站：
http://www.shishibi.com/
如果您只想看看效果请使用下面的账号密码登录
test
test
如果您想试用请留下邮箱，我将给您发送邀请码
PS: 正式版发布后会考虑收费但肯定会至少有1个月的试用期，试用期过后后端应用还是可以正常使用的，只是不可以通过WEB端进行可视化管理，对于邀请注册的用户在正式版发布后至少可以多免费使用1年。
提前声明英文版还没找专业人士翻译目前是直接GOOGLE的。
鸟巢采集器还有一个爬虫分享计划，试想一下每抓取一个页面换一个IP是不是很爽呢，只是目前尚未启动 ^^
现在总算是可以晒出来给大家用用了。
他是一款WEB版的通用型网页数据采集工具，我叫他鸟巢采集器。
鸟巢采集器拥有强大的内容采集和数据过滤功能，基于JAVA语言开发，是平台无关的可以在任何系统上运行。
鸟巢采集器分WEB端和后端应用，WEB端不干预后端应用的逻辑只为后端应用提供可视化的操作界面，后端应用完全由用户部署管理，包含“采集器应用”、“爬虫池应用”、“爬虫应用”。
通过WEB端对后端应用的接入，可以对后端应用进行可视化管理。
鸟巢采集器访问地址:
http://www.newcrawler.com/
鸟巢采集器能做些什么：
采集数据、博客迁移、友情链接检查、定向采集实现垂直搜索 等等。
鸟巢采集器相比其它采集器的优势：
1、平台无关，可以在任何系统上运行如：Linux、Windows ...
2、可以运行在云环境 PAAS 平台上如：Google App Engine 、Sina App Engine 、AppFog ...
3、Raspberry Pi 也是支持的。
4、提供四种插件，让鸟巢采集器可以满足更多更复杂的需求。
5、可以将采集到的数据以文本或附件的形式发布到指定的邮箱，如推送资讯到Kindle。
6、使用WEB的管理方式，可以在任何终端上操作。
总之最大的优势是WEB版平台无关，其它核心功能也都有。
目前唯一一个在用鸟巢采集器抓取数据的网站：
http://www.shishibi.com/
如果您只想看看效果请使用下面的账号密码登录
test
test
如果您想试用请留下邮箱，我将给您发送邀请码
PS: 正式版发布后会考虑收费但肯定会至少有1个月的试用期，试用期过后后端应用还是可以正常使用的，只是不可以通过WEB端进行可视化管理，对于邀请注册的用户在正式版发布后至少可以多免费使用1年。
提前声明英文版还没找专业人士翻译目前是直接GOOGLE的。
鸟巢采集器还有一个爬虫分享计划，试想一下每抓取一个页面换一个IP是不是很爽呢，只是目前尚未启动 ^^
Supplement 1 · Apr 9, 2013
不知道有没有人发布应用，附上安装说明
1.下载GAE发布工具 “windows-gae-deploy-tools.zip” 与采集器应用包 “soso-crawler-gae.zip”
http://pan.baidu.com/share/link?shareid=359591&uk=539995500
http://pan.baidu.com/share/link?shareid=366793&uk=539995500
2.解压 windows-gae-deploy-tools.zip
解压 soso-crawler-gae.zip 到发布工具的war目录，war目录结构如下:
-war
-WEB-INF
-index.html
-favicon.ico
....
2.修改project-app-deploy.xml配置文件，
your.gae.app.id #Google App Engine 的App Id
your.gae.account #Google App Engine 的账户
your.gae.account.password #Google App Engine 的账户密码
3.双击运行 deploy.bat 进行发布
4.发布成功后接入你的采集器应用到WEB端
登录newcrawler.com在
系统设置 > 采集器管理
填上你的刚刚发布的应用地址和名称点添加，成功后你就可以在WEB端管理你的采集器应用了
1.下载GAE发布工具 “windows-gae-deploy-tools.zip” 与采集器应用包 “soso-crawler-gae.zip”
http://pan.baidu.com/share/link?shareid=359591&uk=539995500
http://pan.baidu.com/share/link?shareid=366793&uk=539995500
2.解压 windows-gae-deploy-tools.zip
解压 soso-crawler-gae.zip 到发布工具的war目录，war目录结构如下:
-war
-WEB-INF
-index.html
-favicon.ico
....
2.修改project-app-deploy.xml配置文件，
your.gae.app.id #Google App Engine 的App Id
your.gae.account #Google App Engine 的账户
your.gae.account.password #Google App Engine 的账户密码
3.双击运行 deploy.bat 进行发布
4.发布成功后接入你的采集器应用到WEB端
登录newcrawler.com在
系统设置 > 采集器管理
填上你的刚刚发布的应用地址和名称点添加，成功后你就可以在WEB端管理你的采集器应用了
Supplement 2 · Apr 9, 2013
还需要注意的一点，GAE应用需要Datastore Indexes创建好之后才能使用，大家可以在GAE的控制台查看Datastore Indexes 状态
谢谢刚刚反馈的用户。
谢谢刚刚反馈的用户。
 |
1
niko Apr 9, 2013
貌似很NB的样子，给个邀请码吧, [email protected]
|
 |
2
ostrichmyself Apr 9, 2013
|
 |
4
sohoer OP |
 |
10
jackyzy823 Apr 9, 2013 via iPhone
jackyzy823#gmail.com 感兴趣→_→
|
 |
11
nsxuan Apr 9, 2013 via Android
|
|
13
sohoer OP |
 |
14
binux Apr 9, 2013  1
test账号试用了一下，感觉太复杂了，太流程化了
贴一个我们的爬虫系统图，用程序化脚本控制  |
 |
18
andybest Apr 9, 2013
|
 |
19
lj0014 Apr 9, 2013
试用了下，没整成功，总是报错。
|
|
21
andybest Apr 9, 2013
应用安装第一次安装没有成功，
现在现在再点就是“请升级您的账户”了。 |
|
22
sohoer OP |
 |
33
wingoo Apr 9, 2013
地址打不开了?
|
 |
34
csx162 Apr 9, 2013
支持一下,以前都用火车，想试试这个，求邀请
|
 |
37
l0wkey Apr 9, 2013
zzm110112@163.
|
 |
38
xiiing Apr 9, 2013
可不可以导出腾讯微博?
|
|
41
sohoer OP |
 |
43
Wy4q3489O1z996QO Apr 9, 2013
希望能够测试一下 romotc#@#gmail .dot. com
|
 |
44
kamehamehon Apr 9, 2013
@sohoer 求一个联系方式
|
 |
45
workaholic Apr 9, 2013
关注你很久了哥们， ^_^ , v2sker # gmail.com
|
|
46
sohoer OP |
|
47
workaholic Apr 9, 2013
@sohoer 不能添加爬虫池，提示"错误：需要升级您的账户"
|
|
49
sohoer OP @workaholic 爬虫池还没有开放，添加一个采集器应用就可以爬数据了.
|
 |
51
nan0kai Apr 9, 2013
|
 |
55
thedevil5032 Apr 9, 2013 via iPad
@binux 可以弱弱地问问你的截图里是个什么软件吗？
|
|
56
binux Apr 9, 2013
@sohoer 用代码更灵活，任何页面都可以爬，任何情况都能适配，要新功能import就可以
甚至可以在框架内实现一套你的导出规则，当然要有一点代码基础。。不过用的是python还好。。 |
 |
57
jeansfish Apr 9, 2013
jeansfish#####outlook.com
来一个看看 |
|
58
binux Apr 9, 2013
@thedevil5032 我们自己开发的爬虫引擎
|
 |
59
kaifazhe Apr 9, 2013
admin#html5点cn
发一个，谢谢 |
|
60
sohoer OP @binux 其实我的也很灵活的，有抓取插件，javascript的支持就是通过插件实现的，其实越灵活变相的就越复杂，我发现我这工具目前都无法面向一般的大众用户的。
|
 |
61
adspe Apr 9, 2013
|
|
64
sohoer OP 以上用户邀请码都以发送如果没有收到请与我联系，谢谢支持!
|
 |
65
anyalso Apr 9, 2013
我也求一个 anyalso[at]yahoo.com.cn,谢谢
|
 |
66
pengdu Apr 9, 2013
赞楼主！
python有个scrapy，做爬虫很好。之前小弄了个快播电影站（http://17sotv.com/），就是用的scrapy，从页面采集，解析，入库一条龙服务。 |
 |
67
yuhuofeihe Apr 9, 2013
|
|
68
sohoer OP |
 |
69
Yannis1990 Apr 10, 2013
求邀请,求测试.... excellentbright#gmail.com
|
 |
70
TigerS Apr 10, 2013
给一个邀请吧，z.jiang##queensu.ca
|
 |
73
parkman Apr 10, 2013
求邀请码 [email protected]
|
 |
74
zetttt Apr 10, 2013
同求邀请码 [email protected]
|
 |
77
amirfish Apr 10, 2013
|
 |
78
hdinfo Apr 10, 2013
球邀请码，谢谢
[email protected] |
|
79
sohoer OP 1
|
|
80
xiiing Apr 10, 2013
|
 |
83
madfrog1984 Apr 10, 2013
madfrog1984#gmail.coom 求邀请码
|
 |
84
firsthym Apr 10, 2013
|
 |
85
penglilonghc Apr 11, 2013
penglilonghc#gmail.com 求缴请，求测试
|
 |
86
molinxx Apr 11, 2013 via iPhone
|
 |
87
uoryon Apr 11, 2013
|
 |
88
dengyunxuan Apr 11, 2013
dengyunxuan#qq.com 求邀请！！！
|
 |
89
DXpro Apr 11, 2013
[email protected] 求邀请！！！
|
 |
90
welsmann Apr 11, 2013
[email protected]，求邀请！！！
|
|
91
sohoer OP |
 |
93
creeper Apr 11, 2013
求邀请码，谢谢了~ [email protected]
|
 |
94
XDA Apr 11, 2013
码子在哪里？ [email protected]
|
 |
97
lin Apr 11, 2013
|
 |
98
khb_gl Apr 12, 2013
[email protected] 可以很强大。 求白名单适用
|
 |
99
koon_kai Apr 12, 2013 via Android
[email protected] 求邀请使用
|
 |
100
yearsaaaa Apr 12, 2013
|
Select Language