V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
wico77
V2EX  ›  Python

requests 或者 urllib2 能不能模拟手机端抓取网页

  •  
  •   wico77 · 2015-02-18 06:34:27 +08:00 · 4682 次点击
    这是一个创建于 3566 天前的主题,其中的信息可能已经有所发展或是发生改变。

    RT。因为需要抓取手机页面的信息。不知道如何模拟手机端。谢谢

    12 条回复    2015-02-21 13:03:33 +08:00
    ryd994
        1
    ryd994  
       2015-02-18 06:45:23 +08:00
    能,无非就是UA而已
    fising
        2
    fising  
       2015-02-18 08:07:41 +08:00
    就是发送手机的request 可能不止ua
    binbex
        3
    binbex  
       2015-02-18 09:49:01 +08:00 via Android
    搜下fiddler.然后自己搞
    killerv
        4
    killerv  
       2015-02-18 10:31:01 +08:00
    应该是可以的吧,header里面的信息都可以伪造。
    jianghu52
        5
    jianghu52  
       2015-02-18 11:00:08 +08:00
    可以。我做过一个页面,就是专门判断手机还是PC端的,但是同事写了一个伪造的request,就把我的页面给欺骗了T_T
    icedx
        6
    icedx  
       2015-02-18 12:24:38 +08:00 via Android
    zwzmzd
        7
    zwzmzd  
       2015-02-18 12:27:04 +08:00 via Android
    @fising 手机request除了UA还有啥特别的吗?
    icedx
        8
    icedx  
       2015-02-18 12:27:35 +08:00
    9hills
        9
    9hills  
       2015-02-18 12:50:14 +08:00 via iPhone
    @zwzmzd 如果不是专门防抓取移动网页,一般就只有ua判断。

    如果做了防抓取,方法就多了,比如分辨率等……
    clino
        10
    clino  
       2015-02-18 12:55:58 +08:00 via Android
    @9hills 分辨率也能配置吧?
    9hills
        11
    9hills  
       2015-02-18 13:16:45 +08:00 via iPhone
    @clino 当然能,所有的防抓取都有破解办法………只是简单一点就UA好了,不行再对症下药
    taobeier
        12
    taobeier  
       2015-02-21 13:03:33 +08:00
    一般只是UA区别, 伪造头就好了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1081 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:10 · PVG 03:10 · LAX 11:10 · JFK 14:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.