V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
gavingeng
V2EX  ›  Python

如何通过httplib来获取ajax的返回值?

  •  
  •   gavingeng · Mar 11, 2012 · 4788 views
    This topic created in 5169 days ago, the information mentioned may be changed or developed.
    最近想抓取http://www.watchmouse.com/en/ping.php上的host列表,于是就将该页面抓取下来解析,解析js代码中的url参数:
    xmlreqGET('api/pingproxy.php?host=www.twitter.com&cp=sg&now=1331439428&mac=488d7c03efb42dbc608d7a6914c42d25','2');

    主要是mac和cp,然后与我自己的hosts列表进行参数拼装url,然后循环去请求url来获取值,但是现在的返回状态是200,但一直得不到返回值(有时就可以得到),苦恼啊

    已通过socks.py代理来访问墙外信息

    请牛人指点,谢谢!
    7 replies    1970-01-01 08:00:00 +08:00
    fanzeyi
        1
    fanzeyi  
       Mar 11, 2012
    mac 参数似乎是有他们自己的加密方式的…… 楼主确定你知道他们的加密方式?
    CoX
        2
    CoX  
       Mar 11, 2012
    貌似mac和cp有时效性,过段时间就失效了
    zhuzhuor
        3
    zhuzhuor  
       Mar 11, 2012
    之前貌似看到哪里介绍说httplib不太好,推荐urllib2
    gavingeng
        4
    gavingeng  
    OP
       Mar 11, 2012
    @fanzeyi mac是从页面解析得到的,用firebug来看,参数没有问题,我通过页面直接访问之后,再拷贝他们的url,直接在浏览器访问也是可以的,header什么的我都添加了,但就是不好使
    gavingeng
        5
    gavingeng  
    OP
       Mar 11, 2012
    @CoX 时效性? now参数是我取的localtime时间戳
    gavingeng
        6
    gavingeng  
    OP
       Mar 11, 2012
    @zhuzhuor urllib2也如此,再者,urllib2的底层就是httplib
    CoX
        7
    CoX  
       Mar 11, 2012
    @gavingeng 这么说吧,你从页面解析到的mac和cp链接,等上1分钟(具体多少不知道)再去访问,也是没有返回值的;
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1198 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 23:14 · PVG 07:14 · LAX 16:14 · JFK 19:14
    ♥ Do have faith in what you're doing.