抓取推文的时候如何保证不重复？

This topic created in 4276 days ago, the information mentioned may be changed or developed.

比如我现在不定时的从推特上抓取自己时间线上推文。操作是通过使用Twitter的API完成的。
如何保证本次抓取的内容正好是从上次抓取完毕的地方开始的呢？
我有个比较笨的方法，就是分批（抽样）抓取数据，每次抓完就判断一下是否重复了。如果重复了就停止抓取。不过我总觉得这样很没效率，不知道大家有没有什么好的建议？

抓取

重复

抽样

2 replies • 2014-10-03 01:05:29 +08:00

wisatbff

Oct 3, 2014

是这个么 https://dev.twitter.com/rest/public/timelines

mthli

Oct 3, 2014 via Android

@wisatbff 嗯。应该就是这个，since_id就是解决这个问题的。我去研究下。自己光想着怎么从timeline抓数据，不读文档，智商很着急呀。