V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
h8743
V2EX  ›  程序员

webmagic 爬 58 同城久了会触发验证码反爬

  •  
  •   h8743 · May 24, 2019 · 3548 views
    This topic created in 2542 days ago, the information mentioned may be changed or developed.
    3 replies    2019-05-24 10:27:45 +08:00
    murmur
        1
    murmur  
       May 24, 2019
    手打验证码
    有打码平台的
    silencefent
        2
    silencefent  
       May 24, 2019
    难,建议分布式多账号 ip 池
    tikazyq
        3
    tikazyq  
       May 24, 2019
    最好用 ip 池来抓取,而且要注意 robots 协议。稍微高级一点自己用神经网络破解验证码也可以,但是比较麻烦。

    顺便安利一下开源爬虫平台 Crawlab,https://github.com/tikazyq/crawlab,兼容各大爬虫框架,包括 scrapy、webmagic、puppeteer、selenium
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2970 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 14:55 · PVG 22:55 · LAX 07:55 · JFK 10:55
    ♥ Do have faith in what you're doing.