这是一个创建于 2045 天前的主题，其中的信息可能已经有所发展或是发生改变。
爬虫每天从各种不同的渠道爬取上百万的数据，存在大量重复无用数据，然后进行筛选给各种网站 app 使用
- 爬取来的大量原始数据如何存储，用什么数据库存储？
- 筛选怎么做？
- 如何最低成本的突破反爬的 ip 限制？
- 有经验的老铁们畅所欲言啊
感谢感谢
 |
1
herozzm OP 每个人的回复我定当感谢
|
 |
2
v2yehen 2019-04-11 18:23:26 +08:00  1
1.nosql，文件持久化（我没试过，感觉可行）
3.走代理，先做个 ip 代理池，这个找几篇博文就行 |
 |
3
andylsr 2019-04-11 18:31:30 +08:00 via Android 1
筛选：布隆过滤
ip 限制：买代理 |
 |
4
jswh 2019-04-11 18:32:16 +08:00 1
删选怎么做，这搜索的关键词是 数据清洗。
|
 |
6
scalaer 2019-04-11 18:54:21 +08:00 1
Elasticsearch 满足 1, 2
|
 |
8
versionzhang 2019-04-11 19:03:08 +08:00 via Android 1
低成本的 ip 限制可以用 Tor 做匿名代理，不过可能请求返回会慢，爬国外的网站可用性还不错，国内的没怎么试过。数据库原始数据一般存 NoSQL，清洗完再到关系型的做进一步分析使用。NoSQL 也注意加索引，要不写入的效率受影响。我之前的爬虫也就到几十万的量级，往上再走的话还没弄过
|
|
9
herozzm OP @versionzhang 我想过多拉几条不同运营商的宽广带 然后有几个辅助脚本配合重拨什么的貌似最有效率
|
|
10
herozzm OP 移动一年优惠下来 100m 300 元左右
|
|
11
versionzhang 2019-04-11 21:10:33 +08:00 via Android 1
@herozzm 应该可以，国内有提供付费 ip 池的服务商，不过我没用过不知道可用性怎么样，也可以看一下可不可行
|
 |
12
Cbdy 2019-04-12 07:31:55 +08:00 via Android 1
MapReduce 做一下清洗
|
Select Language