Hive和HBase通信原理讲解

HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说不太友好，它只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。

现有 HBase 的查询工具有很多如：Hive、Tez、Impala、Shark/Spark、Phoenix 等。今天主要说 Hive。

Hive 方便地提供了 Hive QL 的接口来简化 MapReduce 的使用， 而 HBase 提供了低延迟的数据库访问。如果两者结合，可以利用 MapReduce 的优势针对 HBase 存储的大量内容进行离线的计算和分析。

Hive 和 HBase 通信原理

Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的。这种相互通信是通过 $HIVE_HOME/lib/hive-hbase-handler-{hive.version}.jar 工具类实现的。

通过 HBaseStorageHandler，Hive 可以获取到 Hive 表所对应的 HBase 表名、列簇和列、InputFormat、OutputFormat 类、创建和删除 HBase 表等。

Hive 访问 HBase 中表数据，实质上是通过 MapReduce 读取 HBase 表数据，其实现是在 MR 中，使用 HiveHBaseTableInputFormat 完成对 HBase 表的切分，获取 RecordReader 对象来读取数据。

对 HBase 表的切分原则是一个 Region 切分成一个 Split，即表中有多少个 Regions，MR 中就有多少个 Map;读取 HBase 表数据都是通过构建 Scanner，对表进行全表扫描，如果有过滤条件，则转化为 Filter。当过滤条件为 rowkey 时，则转化为对 rowkey 的过滤;Scanner 通过 RPC 调用 RegionServer 的 next来获取数据;

基本通信原理如下：

Hive-HBase

具体步骤

新建 HBase 表：

create'test', 'f1'

插入数据：

put'test', '1', 'f1:c1', 'name1' put 'test', '1', 'f1:c2', 'name2' put 'test', '2', 'f1:c1', 'name1' put 'test', '2', 'f1:c2', 'name2' put 'test', '3', 'f1:c1', 'name1' put 'test', '3', 'f1:c2', 'name2'

这里 HBase 有个列簇 f1，有两个列 c1 和 c2，新建 Hive 表关联 HBase 的这两列：

SEThbase.zookeeper.quorum=zkNode1,zkNode2,zkNode3; SETzookeeper.znode.parent=/hbase; ADD jar hive-hbase- handler-{hive.version}.jar; CREATEEXTERNALTABLEtest.test ( rowkey string, c1 string, c2 string ) STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITHSERDEPROPERTIES ( "hbase.columns.mapping"= ":key,f1:c1,f1:c2") TBLPROPERTIES ( "hbase.table.name"= "test");

这里使用外部表映射到 HBase 中的表，Hive 对应的 hdfs 目录是空的，数据仍然在 HBase 中，这样在 Hive 中删除表，并不会删除 HBase 中的表，否则，就会删除。

另外，除了 rowkey，其他三个字段使用 Map 结构来保存 HBase 中的每一个列族。

其中，参数解释如下：

hbase.zookeeper.quorum：

指定 HBase 使用的 zookeeper 集群，默认端口是 2181，可以不指定;如果指定，格式为 zkNode1:2222,zkNode2:2222,zkNode3:2222

zookeeper.znode.parent

指定 HBase 在 zookeeper 中使用的根目录

hbase.columns.mapping

Hive 表和 HBase 表的字段一一映射，分别为：Hive 表中第一个字段映射:key(rowkey)，第二个字段映射列族 f1:c1，第三个字段映射列族 f1:c2。

hbase.table.name

HBase 中表的名字

也可以直接在 Hive 中创建表的同时，完成在 HBase 中创建表。

在 Hive 中查询 HBase 表：

hive>select * from test.test; OK 1name1 name2 2name1 name2 3name1 name2

也可以插入数据：

insertintotest.test select'4', 'name4', 'name4';

查看 HBase 的数据：

hive>select * from test.test; OK 1name1 name2 2name1 name2 3name1 name2 4name4 name4

Spark 读取提升速度

Hive 关联 HBase 实际是底层是 MR，速度较慢，此时可以使用 spark sql 读取 Hive 表，进行查询操作，从而访问 HBase 数据。