diaoleona's recent timeline updates diaoleona's recent timeline updates |
diaoleonaV2EX member #52685, joined on 2013-12-25 16:02:44 +08:00 |
diaoleona's recent replies
Aug 21, 2014 Replied to a topic by endoffight › Python › 求助正则表达式牛人帮忙解决一下 |
为何不用xpath
Aug 1, 2014 Replied to a topic by arbipher › 酷工作 › [上海徐汇]技术创业团队求全栈工程师一枚 |
要求iOS方向，
却不能在移动设备上查看gmail，
不如先招个人让你们移动设备上先能看gmail?
却不能在移动设备上查看gmail，
不如先招个人让你们移动设备上先能看gmail?
Jun 3, 2014 Replied to a topic by LetFoxRun › 问与答 › 对于我这种网络爬虫，应该使用哪种模型来加快效率呢？ |
scrapy or scrapyd
Jun 3, 2014 Replied to a topic by zrq495 › 求职 › [求实习]暑假 + 大四 |
有过在线做题数据分析的经验非常好，已经把你简历转发给HR．请耐心等待
Jun 3, 2014 Replied to a topic by JackyXiong › Python › Python 的文档转换模块 docutils 的使用？ |
May 27, 2014 Replied to a topic by hao1032 › Python › python 如何获取一个网址的标题？？ |
@dbow 不能同意更多
Feb 27, 2014 Replied to a topic by yakczh › Python › 爬虫抽取连接和抽取内容的部分是不是应该分开? |
Feb 27, 2014 Replied to a topic by yakczh › Python › 爬虫抽取连接和抽取内容的部分是不是应该分开? |
@yakczh
'多个页面都可能有数据,每个页面有多个数据区域的话,还不知道怎么写'
没看明白你具体问题是什么？
如果担心多个页面多个数据 区域有相同的的数据的话,把你需要的数据区域都爬下来hash一下或者放在一个专门判重redis也可以在scrapy 里的中间件加一道判重过程.
最好你发个子页面的例子给看一下
'多个页面都可能有数据,每个页面有多个数据区域的话,还不知道怎么写'
没看明白你具体问题是什么？
如果担心多个页面多个数据 区域有相同的的数据的话,把你需要的数据区域都爬下来hash一下或者放在一个专门判重redis也可以在scrapy 里的中间件加一道判重过程.
最好你发个子页面的例子给看一下
Feb 26, 2014 Replied to a topic by WeeTom › 上海 › 上海 明道 www.mingdao.com 招 iOS 工程师 |
来黑你们公司的么？？
Feb 26, 2014 Replied to a topic by yakczh › Python › 爬虫抽取连接和抽取内容的部分是不是应该分开? |
看你怎么设计了，我之前是爬到的response.url和 web content压缩一下放在一个数据库里，然后根据需求再做不同的抽取
Select Language