xiushenbuhuihui's recent timeline updates xiushenbuhuihui's recent timeline updates |
xiushenbuhuihuiV2EX member #421562, joined on 2019-06-13 23:41:33 +08:00 |
| crawlspider 爬取全网站原网站信息不全，目前怀疑主要是相对链接没有被转化为绝对链接 Python • xiushenbuhuihui • Jun 17, 2019 • Lastly replied by z1421012325 | 1 |
| scrapy 框架中的 crawlspider 爬虫问题请教！ Python • xiushenbuhuihui • Jun 14, 2019 • Lastly replied by xiushenbuhuihui | 4 |
xiushenbuhuihui's recent replies
Jul 9, 2019 Replied to a topic by huyu › Python › Scrapy 的 CrawlSpider+selenium 爬取一个网站，出现了一些问题 |
使用 selenium 后将 scrapy 的异步模式改成了同步模式，保存到 item 会相对之前慢一些，让程序跑一会就有结果了
Jun 14, 2019 Replied to a topic by xiushenbuhuihui › Python › scrapy 框架中的 crawlspider 爬虫问题请教！ |
@fank99 您好，我把我的问题给你详细描述一下，请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到精选配件页面（全部分类选项里面）时，由于商品（“比如：乐视蓝牙耳机”）的链接只是相对的，结果导致无法爬取商品页面源代码
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到精选配件页面（全部分类选项里面）时，由于商品（“比如：乐视蓝牙耳机”）的链接只是相对的，结果导致无法爬取商品页面源代码
Jun 14, 2019 Replied to a topic by xiushenbuhuihui › Python › scrapy 框架中的 crawlspider 爬虫问题请教！ |
@luanguang 您好，我把我的问题给你详细描述一下，请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到精选配件页面（全部分类选项里面）时，由于商品（“比如：乐视蓝牙耳机”）的链接只是相对的，结果导致无法爬取商品页面源代码
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到精选配件页面（全部分类选项里面）时，由于商品（“比如：乐视蓝牙耳机”）的链接只是相对的，结果导致无法爬取商品页面源代码
Jun 14, 2019 Replied to a topic by luanguang › Python › 如何让 scrapy_redis 对起始 url 不去重 |
@luanguang 但是爬取到 这一页面时，
Jun 14, 2019 Replied to a topic by luanguang › Python › 如何让 scrapy_redis 对起始 url 不去重 |
@luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码
Jun 14, 2019 Replied to a topic by luanguang › Python › 如何让 scrapy_redis 对起始 url 不去重 |
@luanguang 您好，我把我的问题给你详细描述一下，请您帮我解决一下。
Jun 14, 2019 Replied to a topic by luanguang › 杭州 › 杭州滨江租房真的被中介给垄断了吗……心好累啊 |
@luanguang 滨江租房子贼贵
Select Language