在捣鼓一个秒杀器，想实现的功能就是监控网址抢拍。目前是页面定时刷新，然后用beautifulsoup来解析目标页面，过滤目标实现的（自动填单暂时还没实现）。监控多个网址的时候，就是循环这个列表，比如，解析一个页面2秒，10个地址跑完就是20秒。有没有其他更好的方案呢？或者目前这个方案想跑得更快，该如何优化呢？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4388 days ago, the information mentioned may be changed or developed.
 |
piminOct 29, 2014 via iPhone
1
1.开多线程，每个查询一个线程。
|
 |
akiraOct 29, 2014
2
每个地址单独开个线程来监控吧
|
 |
gs038538Oct 29, 2014 via Android
3
关键是 抢的到
|
 |
limbo0Oct 29, 2014
6
前几天那个说不要在淘宝拍卖的帖子难道在指楼主
|
 |
imn1Oct 29, 2014
9
bs慢，想快首先换 lxml 或其他更快的dom解析，能用regex就更好，因为载入dom树比载入文本耗时
|
 |
excelooOct 29, 2014
10
用js...
|
 |
chemzqmOct 29, 2014
11
多进程多代理，要是同时开抢，你一个循环刚开始人家都抢完了
|
 |
20150517Oct 29, 2014
12
beautifulsoup光这处理速度就已经秒了,这玩意
1. 要服务器离秒的服务器近 2. 用python太慢,最好直接c语言 |
 |
TheLambOct 30, 2014
13
这双十一快到了，LZ加油，到时候给我们测试一下
|
 |
ClownQiangOct 30, 2014
14
同求测试。。。
|
 |
unfurlOct 30, 2014
15
没用的…
关键时候页面能不能打开都是问题 |
 |
cdxem713Oct 30, 2014
16
感觉解析一个页面两秒太慢了，按理说不会这么长时间的，你的解析是指请求-响应-解析的一整个流程么？
|
|
cdxem713Oct 30, 2014
17
开多线程，然后挂VPN不停自动切换VPN地址会快很多
|
1 |
27
@cdxem713 之前不够严谨，随便举得例子，刚刚看了下，整个请求-响应-解析流程大概0.3-0.5秒的样子。请问不停自动切换VPN地址是为了啥呢？
|
|
unfurlOct 31, 2014
30
@pythonfan 我帮朋友写过抢nike限量发售的鞋子，用的是selenium，选的vps跟网站延迟5ms以内；不太热门的款式，成功率七八成，热门的鞋子…… 发售前一小时网页就几乎打不开了
|
|
cdxem713Oct 31, 2014
33
@pythonfan 是爬虫的话，同一个IP并发请求太多肯定会被封的，之前做过稳定点的就是，开多个线程并发请求，然后隔几分钟暂停这些线程，切换VPN地址，再开始线程，这种就不容易被封了。
|
|
cdxem713Oct 31, 2014
37
@pythonfan 可以先试试大并发会不会被封，这个东西每个网站也有不同。这类垂直爬虫，我觉得解析速度比较次要，提高request/response的速度，然后在安全的前提下提高并发数才比较关键。
|
Select Language