HIVE LOAD INTO HBASE

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2157 天前的主题，其中的信息可能已经有所发展或是发生改变。

简单描述，我模拟了大概 1400 万的数据进行测试，参考了官方文档( https://cwiki.apache.org/confluence/display/Hive/HBaseBulkLoad) 从使用 HIVE 导入 HBASE 使用 BULKLOAD 的方式在 MAPREDUCE 生成 HFILE 的过程出现了如下的 bug Caused by: java.io.IOException: Added a key not lexically larger than previous. Current cell = \x5CN/f:agency_name/1545121508950/Put/vlen=12/seqid=0, lastCell = \x5CN/f:sk_tradaeacco_reg/1545121508950/Put/vlen=2/seqid=0 at org.apache.hadoop.hbase.io.hfile.AbstractHFileWriter.checkKey(AbstractHFileWriter.java:204) at org.apache.hadoop.hbase.io.hfile.HFileWriterV2.append(HFileWriterV2.java:265)

在 google 了很多次的问题描述大多数是说行健重复的问题，但我使用的行健是用自带的 ROW_SEQUENCE()生成的序列（其他的分区以及某些参数开启这些都做了），结果还是报这个错误。希望有大佬来帮忙一下解决这个问题

目前尚无回复

hfile 行健 vlen x5cn