V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
modkzs
V2EX  ›  程序员

HBase 的 WAL 日志存在意义

  •  
  •   modkzs · 2015-09-20 19:30:52 +08:00 · 3269 次点击
    这是一个创建于 3350 天前的主题,其中的信息可能已经有所发展或是发生改变。

    新手小白刚刚开始学习 Hbase 。昨天了解到 Hbase 在写入时会将数据写入 WAL 和 Memstore ,突然对 WAL 在 Hbase 的存在意义产生了疑问。 Hbase 没有索引和事务,那么 WAL 存在感觉并没有什么用处啊?如果是容灾的话,在写入 WAL 时服务器挂掉照样没法修复啊?这样每次写入数据时都要先进行一次 WAL 的 IO 操作,还不如直接对 Hbase 的数据文件进行 IO 操作。这样大大简化读取和写入的操作流程。 Hbase 引入 WAL 的目的是什么?

    7 条回复    2015-09-24 09:42:53 +08:00
    anexplore
        1
    anexplore  
       2015-09-20 20:10:25 +08:00
    如果 memstroe 中的数据还没 flush ,宕机就丢失了;可以用 wallog 恢复吧
    modkzs
        2
    modkzs  
    OP
       2015-09-21 07:53:00 +08:00
    @anexplore 如果写入 WAL 的时候服务器出问题了,数据还是会丢失吧
    anexplore
        3
    anexplore  
       2015-09-21 09:40:41 +08:00
    @modkzs wal 存储在 hdfs 上,它是一种保险机制,有它丢失数据概率降低。也可以选择关闭写 log
    yuankui
        4
    yuankui  
       2015-09-21 09:42:02 +08:00
    HBase 只有在 WAL 写成功了之后才会对客户端做出承诺说数据谢成功了,如果 WAL 写失败了,客户端会收到报错,这个时候丢数据,是客户端的事,干服务端没关系,可以通过客户端重试解决.

    丢数据是, 承诺了存储好的数据,后来去查不到了,这才叫丢数据.
    modkzs
        5
    modkzs  
    OP
       2015-09-23 12:57:06 +08:00
    @yuankui 如果是这样的话,也可以在写入数据文件之后对客户端承诺写入成功,并不需要 WAL 啊
    anexplore
        6
    anexplore  
       2015-09-24 09:40:16 +08:00
    hbase 写数据是先放在内存里的,到达一定量后才 flush 到存储。如果没 flush 之前,机器挂了,内存中的数据就丢失了。如果写了 WAL 那么其他机器就可以根据 log 恢复数据。
    WAL 是影响性能的,你可以选择关闭 WAL ,你可以选择关闭 WAL ,你可以选择关闭 WAL
    yuankui
        7
    yuankui  
       2015-09-24 09:42:53 +08:00
    先看看书吧.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4700 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 05:39 · PVG 13:39 · LAX 21:39 · JFK 00:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.