V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  bnm965321  ›  全部回复第 19 页 / 共 19 页
回复总数  365
1 ... 10  11  12  13  14  15  16  17  18  19  
2018-05-30 12:54:51 +08:00
回复了 fyooo 创建的主题 Python 2018 年 python2.7+ tornado 连 mysql 的最佳实践是啥?
tornado5.0 默认使用 asyncio eventloop,可以使用 asyncio 的一切异步库
2018-05-22 20:28:20 +08:00
回复了 AX5N 创建的主题 Python 问 3 个爬虫问题,框架、并发数和数据清洗
@AX5N 对方样式变更,你的数据就爬取不到了,然后在 schema 或者数据库插入的时候就会报错。你就要收集这个错误
2018-05-22 19:35:20 +08:00
回复了 chenqh 创建的主题 Python 有没有关于 py3 type hint 的最佳实现
看 mypy 文档就懂了
2018-05-22 19:32:32 +08:00
回复了 AX5N 创建的主题 Python 问 3 个爬虫问题,框架、并发数和数据清洗
scrapy 有异步特性,能够轻松增加并发量,很多人写不错这种快速的程序的。

清洗数据一是可以用 scrapy 的 contract,二是用一些 schema 库(如 attrs)进行类型的处理,三是加入日志(可以搭建一个 sentry,很好用的一个服务,有爬虫经验的人都知道有时对方页面样式更改后爬虫就失效了,这是就要解析日志了,但是自己解析太麻烦,直接用 sentry 吧)
速度很快啊,是国内的 VPS 吗
1 ... 10  11  12  13  14  15  16  17  18  19  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   929 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 22:28 · PVG 06:28 · LAX 14:28 · JFK 17:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.