安科网

Hbase的API案例实战

gengwx00

gengwx00

2020-02-19

关注 关注
1、创建maven工程

Hbase的API案例实战

  • 自动导包（需要从cloudera仓库下载，耗时较长，耐心等待）

Hbase的API案例实战
Hbase的API案例实战
如下内容作为maven工程中pom.xml的repositories的内容

<repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0-mr1-cdh5.14.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.0-cdh5.14.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.2.0-cdh5.14.2</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>6.14.3</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.2</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*/RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

2、创建表

  • 创建myuser表，此表有两个列族f1和f2
/**
     * 操作数据库  第一步：获取连接  第二步：获取客户端对象   第三步：操作数据库  第四步：关闭
     * 创建myuser表，有两个列族 f1 f2
     * @throws IOException
     */
    @Test
    public void createTable() throws IOException {
        //获得连接
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");

        //创建连接对象
        Connection connection = ConnectionFactory.createConnection(configuration);

        //操作：建表、删除表、修改表 -> 管理员；创建管理员对象
        Admin admin = connection.getAdmin();

        //添加了表名信息
        HTableDescriptor myuser = new HTableDescriptor(TableName.valueOf("myuser"));
        //给表添加列族
        myuser.addFamily(new HColumnDescriptor("f1"));
        myuser.addFamily(new HColumnDescriptor("f2"));

        //创建表
        admin.createTable(myuser);

        //关闭连接
        admin.close();
        connection.close();
    }

Hbase的API案例实战

3、添加数据

private Connection connection;
    private Table table;

    //建立连接
    @BeforeTest
    public void init() throws IOException {
        //获得连接
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");
        //configuration.set("zookeeper.znode.parent", "/HBase");
        connection = ConnectionFactory.createConnection(configuration);
        //获得表
        table = connection.getTable(TableName.valueOf("myuser"));
    }

    @AfterTest
    public void close() throws IOException {
        table.close();
        connection.close();
    }

    //向表中添加数据
    @Test
    public void putData() throws IOException {
        Put put = new Put("0001".getBytes());//创建Put对象，并指定rowkey值
        //添加cell值：列族名称+列名+值
        put.addColumn("f1".getBytes(), "name".getBytes(), "zhangsan".getBytes());
        put.addColumn("f1".getBytes(), "age".getBytes(), Bytes.toBytes(18));
        put.addColumn("f1".getBytes(),"id".getBytes(), Bytes.toBytes(25));
        put.addColumn("f1".getBytes(),"address".getBytes(), Bytes.toBytes("地球人"));

        table.put(put);
    }

4、查询数据

  • 初始化一批数据到HBase表当中，用于查询
@Test
    public void batchInsert() throws IOException {
        //创建put对象，并指定rowkey
        Put put = new Put("0002".getBytes());
        //向f1列族添加数据
        put.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(1));
        put.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("曹操"));
        put.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(30));
        //向f2列族添加数据
        put.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("沛国谯县"));
        put.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("16888888888"));
        put.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("helloworld"));

        Put put2 = new Put("0003".getBytes());
        put2.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(2));
        put2.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("刘备"));
        put2.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(32));
        put2.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put2.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("幽州涿郡涿县"));
        put2.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("17888888888"));
        put2.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("talk is cheap , show me the code"));

        Put put3 = new Put("0004".getBytes());
        put3.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(3));
        put3.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("孙权"));
        put3.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(35));
        put3.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put3.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("下邳"));
        put3.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("12888888888"));
        put3.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("what are you 弄啥嘞！"));

        Put put4 = new Put("0005".getBytes());
        put4.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(4));
        put4.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("诸葛亮"));
        put4.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(28));
        put4.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put4.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("四川隆中"));
        put4.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("14888888888"));
        put4.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("出师表你背了嘛"));

        Put put5 = new Put("0006".getBytes());
        put5.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(5));
        put5.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("司马懿"));
        put5.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(27));
        put5.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put5.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("哪里人有待考究"));
        put5.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("15888888888"));
        put5.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("跟诸葛亮死掐"));

        Put put6 = new Put("0007".getBytes());
        put6.addColumn("f1".getBytes(),"id".getBytes(),Bytes.toBytes(5));
        put6.addColumn("f1".getBytes(),"name".getBytes(),Bytes.toBytes("xiaobubu—吕布"));
        put6.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(28));
        put6.addColumn("f2".getBytes(),"sex".getBytes(),Bytes.toBytes("1"));
        put6.addColumn("f2".getBytes(),"address".getBytes(),Bytes.toBytes("内蒙人"));
        put6.addColumn("f2".getBytes(),"phone".getBytes(),Bytes.toBytes("15788888888"));
        put6.addColumn("f2".getBytes(),"say".getBytes(),Bytes.toBytes("貂蝉去哪了"));

        List<Put> listPut = new ArrayList<Put>();
        listPut.add(put);
        listPut.add(put2);
        listPut.add(put3);
        listPut.add(put4);
        listPut.add(put5);
        listPut.add(put6);

        table.put(listPut);
    }

Hbase的API案例实战

4.1 Get查询

  • 按照rowkey进行查询，获取所有列的所有值
  • 查询主键rowkey为0003的人
//查询rowkey为0003的数据
    @Test
    public void getDataByRowkey() throws IOException {
        //通过get对象，指定rowkey
        Get get = new Get("0003".getBytes());

        //获取某列族
        get.addFamily("f1".getBytes());//限定查询f1列族下面所有列的值
        get.addColumn("f2".getBytes(), "say".getBytes());//查询f2列族say列的值

        //通过get查询，返回0003行，f1列族、f2:say列的所有cell的值，封装到一个Result对象
        Result result = table.get(get);
        //获得Result中的所有Cell
        List<Cell> cells = result.listCells();

        //遍历Cell
        for(Cell cell: cells) {
            //cell单元格
            //获得rowkey
            byte[] rowkey_bytes = CellUtil.cloneRow(cell);
            //获得列族
            byte[] family_bytes = CellUtil.cloneFamily(cell);
            //获得列
            byte[] qualifier_bytes = CellUtil.cloneQualifier(cell);
            //获得值
            byte[] cell_bytes = CellUtil.cloneValue(cell);

            if("age".equals(Bytes.toString(qualifier_bytes)) || "id".equals(Bytes.toString(qualifier_bytes))) {
                System.out.println(Bytes.toString(rowkey_bytes));
                System.out.println(Bytes.toString(family_bytes));
                System.out.println(Bytes.toString(qualifier_bytes));
                System.out.println(Bytes.toInt(cell_bytes));//age或id的值是int类型，得用Bytes.toInt
            } else {
                System.out.println(Bytes.toString(rowkey_bytes));
                System.out.println(Bytes.toString(family_bytes));
                System.out.println(Bytes.toString(qualifier_bytes));
                System.out.println(Bytes.toString(cell_bytes));
            }
        }
    }

4.2 Scan查询

/**
     * 不知道rowkey的具体值，我想查询rowkey范围值是0003  到0006
     * select * from myuser  where age > 30  and id < 8  and name like ‘zhangsan‘
     */
    @Test
    public void scanData() throws IOException {
        Scan scan = new Scan();//若没有指定startRow以及stopRow，则全表扫描
        //扫描f1列族
        scan.addFamily("f1".getBytes());
        //扫描 f2列族 phone列
        scan.addColumn("f2".getBytes(),"phone".getBytes());
        //设置起始结束rowkey，前闭后开
        scan.setStartRow("0003".getBytes());
        scan.setStopRow("0007".getBytes());

        //设置每批次返回客户端的数据条数
        scan.setBatch(20);
        //从cacheBlock中读取数据
        scan.setCacheBlocks(true);
        scan.setMaxResultSize(4);
        scan.setMaxVersions(2);//获取历史2个版本

        //通过getScanner查询获取到了表里面所有的数据，是多条数据
        ResultScanner scanner = table.getScanner(scan);
        //遍历ResultScanner 得到每一条数据，每一条数据都是封装在result对象里面了
        for (Result result : scanner) {
            List<Cell> cells = result.listCells();
            for (Cell cell : cells) {
                byte[] family_name = CellUtil.cloneFamily(cell);
                byte[] qualifier_name = CellUtil.cloneQualifier(cell);
                byte[] rowkey = CellUtil.cloneRow(cell);
                byte[] value = CellUtil.cloneValue(cell);
                //判断id和age字段，这两个字段是整形值
                if("age".equals(Bytes.toString(qualifier_name))  || "id".equals(Bytes.toString(qualifier_name))){
                    System.out.println("数据的rowkey为" +  Bytes.toString(rowkey)   +"======数据的列族为" +  Bytes.toString(family_name)+"======数据的列名为" +  Bytes.toString(qualifier_name) + "==========数据的值为" +Bytes.toInt(value));
                }else{
                    System.out.println("数据的rowkey为" +  Bytes.toString(rowkey)   +"======数据的列族为" +  Bytes.toString(family_name)+"======数据的列名为" +  Bytes.toString(qualifier_name) + "==========数据的值为" +Bytes.toString(value));
                }
            }
        }
    }

5、HBase的删除操作

5.1、根据rowkey删除数据

  • 删除rowkey为003的数据
/**
     * 删除数据
     */
    @Test
    public  void  deleteData() throws IOException {
        Delete delete = new Delete("0003".getBytes());
        delete.addFamily("f1".getBytes());
        delete.addColumn("f2".getBytes(), "phone".getBytes());
        table.delete(delete);
    }

5.2、删除表操作

/**
     * 删除表
     */
    @Test
    public void deleteTable() throws IOException {
        //获取管理员对象，用于表的删除
        Admin admin = connection.getAdmin();
        //删除一张表之前，需要先禁用表
        admin.disableTable(TableName.valueOf("myuser"));
        admin.deleteTable(TableName.valueOf("myuser"));
    }

e(delete);
}

## 5.2、删除表操作

```java
    /**
     * 删除表
     */
    @Test
    public void deleteTable() throws IOException {
        //获取管理员对象，用于表的删除
        Admin admin = connection.getAdmin();
        //删除一张表之前，需要先禁用表
        admin.disableTable(TableName.valueOf("myuser"));
        admin.deleteTable(TableName.valueOf("myuser"));
    }

hbase api

gengwx00

gengwx00

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

HBase/TiDB都在用的数据结构：LSM Tree，不得了解一下？

LSM Tree广泛应用在HBase，TiDB等诸多数据库和存储引擎上，我们先来看一下它的一些应用：。这么牛X的名单，你不想了解下LSM Tree吗？装X之前，我们先来了解一些基本概念。设计数据存储系统可能需要考虑的一些问题有：ACID，RUM。读性能体现

晨曦之星 2020-08-14

hbase 基础 —— 架构

典型的主从架构。其中 RegionServers 负责与客户端的交互，访问数据 HMaster 负责 Region 分配，DDL 操作。hbase table 根据 RowKey 划分成多个 Region，Region 包含所划分范围的所有行数据。Regi

lwb 2020-07-26

hdfs、hive、hbase的搭建总结

-- 完全分布式文件系统的名称 ：schema ip port -->. -- 分布式文件系统的其他路径的所依赖的一个基础路径，完全分布式不能使用默认值，因为临路径不安全，linux系统在重启时，可能会删除此目录下的内容-->. --

eternityzzy 2020-07-19

hbase 建表 数据类型

下面几个shell 命令在后续的hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性1、BLOOMFILTER 默认是NONE 是否使用布隆过虑使用何种方式布隆过滤可以每列族单独启用。对ROW，行键的哈希在每次插入行

大而话之BigData 2020-06-16

Hbase常见问题

Hbase的数据是按照字典排序的，当大量连续的rowkey集中写到个别的region，各个region之间实际分布不均衡；创建表已经提前预分区，但是设计的rowkey没有规律可循。随机数+业务主键，如果更好的让最近的数据get到，可以加上时间戳；加盐之后的

ITwangnengjie 2020-06-14

hue集成hbase

# Comma-separated list of HBase Thrift servers for clusters in the format of ‘‘.# If using Kerberos we assume GSSAPI SASL, not P

gengwx00 2020-06-11

HBase安装部署

在slave01上运行jps，确认DataNode, NodeManager进程启动。分别在master，slave01，slave02上启动zookeeper. 查看解压后HBase目录中包含的文件。修改JAVA环境变量，去除export JAVA_HO

大而话之BigData 2020-06-10

在hadoop集群下启动hbase的方法

start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin)

鲸鱼写程序 2020-06-08

Spark读取Hbase中的数据

大家可能都知道很熟悉Spark的两种常见的数据读取方式：、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下：。其实对文件来说，Spark支持Hadoop所支持的所有文件类型和文件存放位置。过往记忆博客，专注于hadoop

needyit 2020-06-04

Flume-0.9.4和Hbase-0.96整合

Flume里面自带了Hbase sink，可以直接调用啊，还用说么？这是因为Flume-0.9.4和Hbase-0.96整合比Flume-1.4.0和Hbase-0.96整合麻烦多了！不是随便几个配置就能搞定的，里面涉及到修改Flume和Hadoop的源码

strongyoung 2020-06-04

HBase的安装部署

　　副本数为1， 取消权限。在启动前，先进行namenode格式化。这样hadoop就安装完成了。配置不使用自带的Zookeeper. # Tell HBase whether it should manage it‘s own instance of Z

WeiHHH 2020-05-30

Spark读取Mysql，Redis，Hbase数据（一）

"select * from TBLS where TBL_ID >= ?

needyit 2020-05-10

Spark 与 JDBC、Hbase之间的交互

"select id, name from user where id >= ?1,//对应第一个 ？10,//对应第二个 ？

ITwangnengjie 2020-05-09

1，pinpoint全链路监控

Pinpoint-Collector和Pinpoint-Web最好安装在一个机器上。在结尾修改成如下，这里我们指定Hbase本地来存储数据，生产环境将数据建议存入HDFS中。这个脚本不能直接wget，因为wget下载下来的是一个网页。执行pinpoint提

gengwx00 2020-05-08

HBase与Hive

用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。操作Hive可能对HBase产生影响，所以Hive需要持

gengwx00 2020-05-09

HBase与MapReduce交互

飞鸿踏雪0 2020-05-07

HBase原理总结

HBase分布式数据库，面向列存储，支持实时、随机读写。HDFS 为 Hbase 提供可靠的底层数据存储服务，MapReduce 为 Hbase 提供高性能的计算能力，Zookeeper 为 Hbase 提供。稳定服务和Failover机制，因此，Hbas

大而话之BigData 2020-05-06

Hbase scan 查询命令大全，前缀，模糊，正则

Hbase scan 查询例子数据?https://java-er.com/blog/hbase-scan-all-command/stu 学生列族 base 存储学生姓名，身高基本信息列族 score 存储成绩c1_s1 c1 班级 s1 学生编号。Hb

Buerzhu 2020-05-01

Hbase API 创建表错误记录 for Docker 容器部署集群

最终我们看到成功了，然后我们是三台Docker容器，我们为了后面的不会再次出现这个错误，我们把 salve2 节点的 hbase 的HRegionServer机器主机名。应用程序对数据的读写操作都是通过和HRegion通信完成，16020端口是Region

gengwx00 2020-04-30

hbase设置ttl后出现坏块，重启后master abort 问题梳理

　　可以看到，问题是由于把某个region进行transit过程中出现了错。　　造成的原因很可能就是重新设置了ttl造成数据块中造成了部分损坏。　　在此版本中，当region在transition过程中出现了错误，但并不会影响master的正常启动。

gengwx00 2020-04-29
gengwx00

gengwx00

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号