Home Sign Up Sign In
z0z

使用 aws 的 ec2 该怎么配置存储？

  •   
  •   z0z · May 17, 2017 · 6213 views
    This topic created in 3314 days ago, the information mentioned may be changed or developed.
    想用 aws 的 ec2 g2.2xlarge 实例来学习机器学习，但是创建时到这里不知道该不该添加其他卷，目前的根文件系统只有 8G，这肯定不够用的，而且当时看 g2.2xlarge 实例时说它有 60G，这东西需要我在这里手动添加吗?
    https://ooo.0o0.ooo/2017/05/17/591c019d5b914.png
    [img]https://ooo.0o0.ooo/2017/05/17/591c019d5b914.png[/img]
    ![2017-5-17 15-45-57.png]( https://ooo.0o0.ooo/2017/05/17/591c019d5b914.png)
  • xlarge
  • EC2
  • AWS
  • 实例
    26 replies  •  2017-05-18 16:35:10 +08:00
    stabc
        1
    stabc  
       May 17, 2017
    截图这张不用再操作了。
    那个 60G 不是 EBS，机器开了之后需要手动挂载，具体怎么做就 GOOGLE 吧。
    z0z
        2
    z0z  
    OP
       May 17, 2017
    @stabc 多谢啊。我去试试。
    monsterxx03
        3
    monsterxx03  
       May 17, 2017
    60G 是 instance storage, 在你那个界面点一下添加新卷能看到的，但开机后还是要手工格式化文件系统再挂载。

    如果你把 instance stop 掉，那块 60G 的盘内容会被抹掉的，不过你用的是竞价实例，就无所谓了...
    z0z
        4
    z0z  
    OP
       May 17, 2017
    我现在到这步了，刚才进入了竞价，但是要下班了，就把竞价取消了，等了好几分钟了，还一直处于取消中的状态。
    http://ww4.sinaimg.cn/large/a15b4afegy1ffogiegqk7j20vq0liq4g

    看了下这里的介绍，有些明白了 http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/WindowsGuide/spot-requests.html
    gunshot
        5
    gunshot  
       May 17, 2017
    我记得 g2.2xlarge 根目录只有 3GB 免费...
    可以看一下这个 AMI https://cs231n.github.io/aws-tutorial/
    SevenJ
        6
    SevenJ  
       May 17, 2017
    创建 volume 的时候默认 sda1 是 8G，估计你忘记改了
    AWS US 能动态调整 ebs 的空间大小
    Reficul
        7
    Reficul  
       May 17, 2017
    AWS 的竞价实例扣钱是按照我给的价钱还是当时机器的价钱呢？

    比如当时一台机器是 0.2 刀，我给的最高价格是 1 刀。那么扣钱的时候是扣 0.2 还是 1 刀呢？
    z0z
        8
    z0z  
    OP
       May 18, 2017
    @Reficul 应该是按你那个 1 刀算，如果是按照当时机器的价格算，那还让你出价干嘛？
    z0z
        9
    z0z  
    OP
       May 18, 2017
    @gunshot 多谢啊，这个 AMI 很好啊
    z0z
        10
    z0z  
    OP
       May 18, 2017
    @SevenJ 把默认的 8g 改大会不会另外收费呀?
    aveline
        11
    aveline  
       May 18, 2017
    @Reficul
    @z0z

    是按当时价格算的，参考 https://aws.amazon.com/ec2/spot/pricing/
    Max Price 是当时价格超过这个值会实例被 Terminate 掉。
    z0z
        12
    z0z  
    OP
       May 18, 2017
    @aveline 如果竞价实例是按照实例的实时价格收费的，那比如实时价格是 0.2 刀，我出 100 刀，高于实时价格，也高于实时价格的历史最高价格，岂不是我的实例大部分时间都会运行，且按照 0.2 刀的价格付费，还是我理解错了？我也还没实际的成功使用过。
    msg7086
        13
    msg7086  
       May 18, 2017
    @z0z 买入价当然是往低了竞啊。
    就像买股票，一个股票现在 3 块钱一股，你不会傻乎乎出 100 块钱去买吧。
    然而就算你出单子 100 块一股收，最后还是会以当前买入价成交的。
    v166ex
        14
    v166ex  
       May 18, 2017
    先 fdisk -l 看看，如果不是 8G 你可以扩展的
    看帮助文档 http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-expand-volume.html
    v166ex
        15
    v166ex  
       May 18, 2017
    创建实例的时候就应该设置大一点的
    z0z
        16
    z0z  
    OP
       May 18, 2017
    @msg7086 完了，我现在糊涂了。往低了竟这个精神我是理解的。不过我确实没有接触过股票，几乎没有接触过，包括理论上。只说 aws 的竞价，像 Reflcul 最初的提问，如果他设置自己的最高出价为$1.0，那么当实例的实时价格是$0.2 时，他每小时需要支付的费用是按$0.2 支付的吗？$1.0 只是作为一个阀值使用，而不会按此计费？那这样的话，不设置$1.0，而是设置为$100，同样当实例简单实时价格为$0.2 的话，是不是对用户来说两种出价没有区别？那么对 aws 的竞价系统会有影响吗？比如它会影响 aws 的实例实时价格吗？
    msg7086
        17
    msg7086  
       May 18, 2017
    @z0z 是的，竞价价格是最高价格。
    引用原句：
    「竞价型实例请求 (或竞价出价) – 提供您希望为每个竞价型实例每小时支付的最高价 (出价)。当您的出价超过现货价格时，Amazon EC2 会满足您的请求。」

    所以你这里的$1.0 就是价格阈值 <-- 注意错别字。

    竞价实例本质上是亚马逊把他手里没卖出去的 EC2 拿出来低价甩卖。
    比如亚马逊手里有 100 台 EC2，按需和预留占掉 50 台，剩下的 50 台闲着没事干，空烧钱。
    于是这 50 台机器就拿出来你们自己开价抢购，开价最高的 50 个竞价得机器。
    假如排第 50 位的这位大哥出价 0.2，那么他的卖出价就是 0.2，收入就是 0.2x50，而用户的买入价就是 0.21，凡是出价 0.21 的就可以把 0.2 那个人挤掉。
    但是比如说有两个人非常蛋疼，各要开 30 台机器，并且一个人设置价格 100，另一个人设置 120，那么这两个人就可以拿走所有 50 台机器，亚马逊得 100x50，别人再开机器就得出 100.01 才能竞到机器。

    竞价实例的优先级总是最低的，所以拼命竞价导致价格远远超过按需是完全有可能的。
    precisi0nux
        18
    precisi0nux  
       May 18, 2017 via iPhone
    看你的 region 有没有 efs，有的话直接用就是了
    z0z
        19
    z0z  
    OP
       May 18, 2017
    @msg7086 感谢纠正“阈值”这个词啊，当了好几年文盲了:)
    Reficul
        20
    Reficul  
       May 18, 2017
    @msg7086
    @z0z

    就是类似股票撮合交易的方式咯？～
    那么只要价格相对较高，就可以得到比较稳定的机器了咯?
    现在用的一个开源的 Autospotting 工具来替换 Auto scalling group 组里的机器，给的最高价格是按需实例的价格。
    rrfeng
        21
    rrfeng  
       May 18, 2017
    一般不会开到按需更高的价格吧……
    那为什么不直接开按需，又不是资源不够竞争，而是剩余资源竞争。
    msg7086
        22
    msg7086  
       May 18, 2017
    @Reficul 要稳定的话还是预留就好了。
    竞价是专门给不需要稳定的应用用的，比如说谷段整理日志数据这种可有可无的事情，就交给竞价是最好的了。

    @rrfeng 对，其实就是抢着处理废品（ x
    laxenade
        23
    laxenade  
       May 18, 2017
    如果数据量不是很大 而且你不知道到底会有多少数据的话 可以考虑挂载 EFS
    cxbig
        24
    cxbig  
       May 18, 2017 via iPhone
    EBS volume 是独立算钱的，申请用多少算多少。
    创建的时候主 volume 可以开大点，比方说 100G。
    要注意它们通常给你很少的 inode，64G 以下玩不了什么东西。
    laxenade
        25
    laxenade  
       May 18, 2017
    脑洞大一点。假设 Spot Instance 突然变得好便宜然后让它们同时挂载一个 EFS，这样分分钟就处理完了(雾
    Showfom
        26
    Showfom  
    PRO
       May 18, 2017 via iPhone
    @gunshot 这教程从注册开始指导 作者也是用心的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2981 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 13:50 · PVG 21:50 · LAX 06:50 · JFK 09:50
    ♥ Do have faith in what you're doing.