首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
程序员
请问大量的数据收集常用的技术有哪些?
lusin
·
2012-05-08 17:59:06 +08:00
· 2887 次点击
这是一个创建于 4581 天前的主题,其中的信息可能已经有所发展或是发生改变。
比如GOOGLE购物频道这样的,一般用什么技术实现呢?
Google
技术
频道
2 条回复
•
1970-01-01 08:00:00 +08:00
1
sohoer
2012-05-08 18:38:45 +08:00
1
就是所谓的垂直搜索吧,
或者用采集器实现,
或者自己写
http://www.searchtb.com/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html
2
docete
2012-05-08 19:14:25 +08:00
1
你说的是网络爬虫吧。一般会用开源方案做二次开发。scrapy用的人比较多。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2831 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms ·
UTC 07:20
·
PVG 15:20
·
LAX 23:20
·
JFK 02:20
Developed with
CodeLauncher
♥ Do have faith in what you're doing.