V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ml1344677  ›  全部回复第 15 页 / 共 16 页
回复总数  304
1 ... 7  8  9  10  11  12  13  14  15  16  
2018-05-15 15:17:31 +08:00
回复了 yoke123 创建的主题 Python Python 爬取接口数据的一些疑问
首先这是一个爬虫策略的问题,假设 V1 接口返回的是一个 list of ID 那么 V1 接口的访问量会远低于 V2 接口,从稳定性和反-反爬虫的角度来说,我建议 V1,V2 分开处理,即 V1 获取所有商品 ID 并保存在本地后,再来通过 V2 获取商品详情,可以保证如果出了什么错后可以断点续爬(已经爬取的 ID 标记字段)。体量很大的话对于 V1,V2 都可以 网络 IO 和数据库 IO 做异步操作。
2018-05-11 18:17:16 +08:00
回复了 ml1344677 创建的主题 全球工单系统 腾讯云服务器 mongoDB 被拖库
@realpg Ubuntu16.04
2018-05-11 09:52:19 +08:00
回复了 ml1344677 创建的主题 全球工单系统 腾讯云服务器 mongoDB 被拖库
@airyland 抱歉 这个事情完全是我个人问题 如果有什么选择错误 不知如何修改或删除
2018-05-11 09:51:50 +08:00
回复了 ml1344677 创建的主题 全球工单系统 腾讯云服务器 mongoDB 被拖库
@joejhy 是的 这个完全是我的问题
@dassh +1 对于 xlsx 有可能遇到问题
2018-05-10 18:17:34 +08:00
回复了 ml1344677 创建的主题 全球工单系统 腾讯云服务器 mongoDB 被拖库
@gouchaoer 是的 直接删了 我已经看过流量和日志了
2018-04-26 15:18:58 +08:00
回复了 nulun 创建的主题 程序员 是不是刚毕业待遇就是低一些
18 届 正在某小创业公司实习到手 8k 10k 明显低了
2018-04-26 15:15:16 +08:00
回复了 bannychen 创建的主题 程序员 酷派手机质量如何?
大一的时候办电信网送了个酷派手机安卓 2.3 ?还是更低忘了,超长待机一个月....真的一个月 上面都是灰了 还有电
@954758514 我的意思是你如果不两边留空...你想铺满屏幕 带鱼屏怎么办.. 得扯成啥样..
@954758514 带鱼屏了解一下?
2018-04-16 18:08:09 +08:00
回复了 BadCat 创建的主题 职场话题 出来工作之后,找不到在学校里学习的那种动力了
我觉得你可能需要换个工作
1 ... 7  8  9  10  11  12  13  14  15  16  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3368 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 11:18 · PVG 19:18 · LAX 03:18 · JFK 06:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.