This topic created in 5015 days ago, the information mentioned may be changed or developed.
需要做大量的内容页面进行监控
主要是方便了解各网站最新内容的 没有rss
大概设想是准备监控页url列表
定期抓取urlhtml 遍历所有a节点 和数据库内的url做比对 如果以前抓取过该链接即视为重复 数据量小没什么问题 用mysql来存储 判断的时候直接where url = alink 如果存在记录就是重复
如果数据量过大 如何解决？
或者这种程序有什么现成的解决方案吗？
大概url列表过万，监控频率按小时差不多
主要是方便了解各网站最新内容的 没有rss
大概设想是准备监控页url列表
定期抓取urlhtml 遍历所有a节点 和数据库内的url做比对 如果以前抓取过该链接即视为重复 数据量小没什么问题 用mysql来存储 判断的时候直接where url = alink 如果存在记录就是重复
如果数据量过大 如何解决？
或者这种程序有什么现成的解决方案吗？
大概url列表过万，监控频率按小时差不多
 |
1
richiefans OP 不需要采集文章内容 只需要了解最新的内容link and title即可 也就是抓取到列表就可以了
|
|
2
richiefans OP 对url 进行md5 之后匹配是不是会性能好一些
|
Select Language