jin5354
V2EX  ›  问与答

想用爬虫抓 2TB 的数据,怎么存放比较好呢?

  •  
  •   jin5354 · Dec 4, 2015 · 4361 views
    This topic created in 3991 days ago, the information mentioned may be changed or developed.
    业余练手玩,抓点羞羞的东西 > _ <
    主要是图片资源,可以收藏。

    手头只有个 256G 的 rmbp 。
    打算把脚本放到 VPS 上,数据每爬够 10GB 存一份( VPS 只有 20G 磁盘)。印象中好像百度网盘有 linux 端的包,可以直接调用上传过去。
    有没有什么好用的云存储呢?还是说直接买个移动硬盘好了。
    求建议~
    15 replies  •  2015-12-06 00:03:39 +08:00
    msg7086
    msg7086
    Dec 4, 2015
    2
    2TB 并不大啊,用硬盘存吧。
    放在网上的东西是不属于你的,特别是没付费的网盘。
    sinker
    sinker
    Dec 4, 2015 via Android
    3
    百度盘最大空间 2T 多一点,上传要看数据是否能秒传,不能秒的话国外 vps 传百度云速度比较捉急。但考虑国内从云端下载的速度还是推荐百度云。其实更推荐用个树莓派接个硬盘挂脚本下载。
    66CCFF
    66CCFF
    Dec 4, 2015
    4
    买个移动硬盘好。
    jin5354
    jin5354
    OP
    Dec 4, 2015
    5
    好哒,打算买硬盘去咯。
    canky
    canky
    Dec 5, 2015 via iPad
    6
    求分享 2TB
    yxling
    yxling
    Dec 5, 2015
    7
    求分享
    kslr
    kslr
    Dec 5, 2015 via Android
    8
    我爬了几十万照片才几个 G 你这该多大啊
    Marfal
    Marfal
    Dec 5, 2015
    9
    Amazon Cloud Drive 无限容量现在一年只要 5 刀,有 API ,可以在国外 VPS 上跑爬虫,然后上传。
    tSQghkfhTtQt9mtd
    tSQghkfhTtQt9mtd
    Dec 5, 2015
    10
    @sinker 国内从云端下载的速度还是推荐百度云
    你确定?百度云非会员没人权啊
    sinker
    sinker
    Dec 5, 2015
    11
    @liwanglin12 aria2+BaiduExporter
    tSQghkfhTtQt9mtd
    tSQghkfhTtQt9mtd
    Dec 5, 2015
    12
    @sinker 没限速么?
    sinker
    sinker
    Dec 5, 2015
    13
    @liwanglin12 有的话我也不会提了。想了解详情自己去项目主页看吧
    herozzm
    herozzm
    Dec 5, 2015
    14
    自己配一个 nas ,用脚本定时从 vps 下载到 nas 中,然后 vps 上定时删除
    jin5354
    jin5354
    OP
    Dec 6, 2015
    15
    @kslr 大概七十多万本,每本 5-500 张图片不等。。。而且只是普通清晰度的 jpg 格式
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1718 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 14:51 · PVG 22:51 · LAX 06:51 · JFK 09:51
    ♥ Do have faith in what you're doing.