V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
qq12345454
V2EX  ›  问与答

有 50w+完全不一样的网址要爬, 用 requests 还是 scrapy?

  •  
  •   qq12345454 · 2017-08-17 11:16:17 +08:00 · 1876 次点击
    这是一个创建于 2655 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这 50w+的网址,完全不重复, 而且只爬个首页

    大家觉得用 requests 还是 scrapy ?

    能说说这种场景下,两者的优势吗?

    谢谢

    10 条回复    2017-08-17 20:49:28 +08:00
    bazingaterry
        1
    bazingaterry  
       2017-08-17 12:25:53 +08:00 via iPhone   ❤️ 1
    一个是爬虫框架,一个是 HTTP Client 库,有得比吗?

    除非是很不熟悉 Python,不然果断 Scrapy 啊。
    e9e499d78f
        2
    e9e499d78f  
       2017-08-17 12:48:48 +08:00   ❤️ 1
    wget
    cdwyd
        3
    cdwyd  
       2017-08-17 13:00:18 +08:00 via Android   ❤️ 1
    才 50w,requests 就行
    tennc
        4
    tennc  
       2017-08-17 14:29:48 +08:00   ❤️ 1
    requests 遍历打开网址,只存储 首页~ 就好了~~
    misaka19000
        5
    misaka19000  
       2017-08-17 14:30:23 +08:00 via Android   ❤️ 1
    50w,没什么区别
    misaka19000
        6
    misaka19000  
       2017-08-17 14:30:42 +08:00 via Android   ❤️ 1
    熟悉哪个用哪个
    liangmishi
        7
    liangmishi  
       2017-08-17 14:54:46 +08:00 via Android   ❤️ 1
    感觉两者都可以,还可以用 aiohttp 这个异步库,50 万不用多久就可以跑完了
    terrawu
        8
    terrawu  
       2017-08-17 15:03:21 +08:00   ❤️ 1
    像这种逻辑不复杂又追求速度的话,elrang 或者 go。我的结果是,主流方案中 erlang 效果最佳。
    wlsnx
        9
    wlsnx  
       2017-08-17 15:49:06 +08:00   ❤️ 1
    没区别
    fiht
        10
    fiht  
       2017-08-17 20:49:28 +08:00
    最省心的解决办法应该是给我 500 块我给你数据。
    不信的话你自己试试看 =、=
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1172 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:34 · PVG 02:34 · LAX 10:34 · JFK 13:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.