V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
letuslinux
V2EX  ›  程序员

求大神指教抓取各大 ota 的机票,酒店报价。比如携程,去哪,艺龙。

  •  
  •   letuslinux · Nov 13, 2014 · 4352 views
    This topic created in 4185 days ago, the information mentioned may be changed or developed.
    感觉这些ota都有防抓取啊,太噁心了。
    11 replies    2014-11-14 17:10:04 +08:00
    letuslinux
        1
    letuslinux  
    OP
       Nov 13, 2014
    自顶一发
    sivacohan
        2
    sivacohan  
    PRO
       Nov 13, 2014 via Android
    看你想用多少钱,多少时间解决这个问题。
    takwai
        3
    takwai  
       Nov 13, 2014 via Android
    benjiam
        4
    benjiam  
       Nov 13, 2014
    要很多很多代理, 某些ota 我知道定期用机器学习来看你访问的内容,只有网页 没有css, jpg的这种访问,立刻就被关闭了。如果一个劲的抓,也是很容易就关闭了,毕竟防比抓简单。
    letuslinux
        5
    letuslinux  
    OP
       Nov 13, 2014
    @benjiam 嗯,只有靠某些公网的出口ip去抓,这样的话,他们就不敢防了
    R4rvZ6agNVWr56V0
        6
    R4rvZ6agNVWr56V0  
       Nov 14, 2014
    @letuslinux cookie + 验证码 + 频率限制。你公网ip再牛叉也要解决验定期被block的问题啊!
    zzcworld
        7
    zzcworld  
       Nov 14, 2014 via iPhone
    模拟正常用户点击的频率,时间间隔变化要大一些
    zaqer
        8
    zaqer  
       Nov 14, 2014
    有api的,貌似还可以拿佣金
    benjiam
        9
    benjiam  
       Nov 14, 2014
    @GeekGao 如果cookie 加验证码 那他们就不用开网站了。 他们的难度是 一开始要信任你,然后快速甄别出你。
    R4rvZ6agNVWr56V0
        10
    R4rvZ6agNVWr56V0  
       Nov 14, 2014
    @benjiam 连google都有验证码 ,你一段时间内访问频率高了,就看到了。你不知道?
    benjiam
        11
    benjiam  
       Nov 14, 2014
    @GeekGao 和我说的有冲突嘛? google 也是一开始就信任你,不给你验证码。但是很快就甄别出你是个爬虫 给你验证码。 ota 也一样。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3182 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 13:43 · PVG 21:43 · LAX 06:43 · JFK 09:43
    ♥ Do have faith in what you're doing.