studyaa's recent timeline updates
studyaa

studyaa

V2EX member #309656, joined on 2018-04-18 16:52:19 +08:00
studyaa's recent replies
Jul 8, 2019
Replied to a topic by studyaa 问与答 请教一下 scrapy 爬取数据不完整的问题
@qianyin123 json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 13042 (char 13041)就这个错啊 json 数据不完整导致的
@ljspython 不会啊==大兄弟有没有例子啥的发个链接
@ToT 嗯嗯! 我看看
@summerwar 每天需要大概五六个小时跑几千万数据, 会用到 selenium
服务器的配置也跟所需代理 ip 有关吗?
对服务器不太懂
为什么都需要在服务器上跑爬虫

感谢之前的回答!
@msg7086
五六个小时要跑几千万数据,
ip 肯定要频繁换,多少个的话我也不太清楚怎么算,一个首页面一个?几十万个?
分布式不太懂
国外的不需要
价钱的话公司没说,就说做下来所需要的配置..

还有感谢回答!
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1471 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 16:54 · PVG 00:54 · LAX 09:54 · JFK 12:54
♥ Do have faith in what you're doing.