Home Sign Up Sign In
daimaosix
V2EX  ›  问与答

八千二百多万行 url 如何进行存活检测

  •   
  •   daimaosix · Sep 19, 2021 · 1282 views
    This topic created in 1699 days ago, the information mentioned may be changed or developed.
    一个 txt 文件，里面有八千多万行 url，用于对象存储的源站迁移，需要访问一下 url，目前使用 python 和 go 的一些开源工具跑过，没有一个成功的。。。目前 txt 文件大小为 11GB，想问问哪位大佬有一些经验可以分享一下呢？
  • URL
  • txt
  • 源站
  • Python
    1 replies
    masha
        1
    masha  
       Sep 22, 2021
    https://github.com/projectdiscovery/httpx
    用这个试试看？
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1025 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 18:34 · PVG 02:34 · LAX 11:34 · JFK 14:34
    ♥ Do have faith in what you're doing.