剑客
关注科技互联网

HBase开启Snappy压缩

HBase是目前主流的Nosql数据库之一,由于其优秀的水平扩展能力,业界常将其用来存储海量级的数据。在我们使用HBase的时候,为了节省服务器的存储成本,建议开启HBase的数据压缩特性。主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO。需要注意的是,Snappy是需要单独下载并编译安装的,此过程不在本文讨论范文之内,本文主要介绍如何通过HBase shell来开启Snappy压缩。

步骤

指定Snappy的场景有两种:

  1. 创建时指定格式。
  2. 修改已经创建好的列族的压缩格式。

创建

我们可以在一开始创建表的时候就指定Snappy压缩格式:

hbase> create 'test', { NAME => 'c', COMPRESSION => 'SNAPPY' }
hbase> describe 'test'
Table test is ENABLED
test
COLUMN FAMILIES DESCRIPTION
{NAME => 'c', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP
_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

通过describe,我们可以看到test表的压缩格式为SNAPPY。

修改

假设我们已经有了一张表,并且表里也有了数据,我们照样可以在表上添加Snappy压缩格式。

我们以test表为例

  1. 我们先创建一张不含任何压缩格式的test表,并且向其导入10多G的数据:

    $ hadoop fs -du -h /hbase/data/default/
    12.2 G /hbase/data/default/test
    

    我们可以看到,在未压缩之前,test表的数据在hdfs上一共占用了12.2G的磁盘空间。

  2. 然后disable test表:

    hbase> disable 'test'
    
  3. 修改压缩格式:

    hbase> alter 'test', NAME => 'c', COMPRESSION => 'snappy'
    

    需要注意的是,修改压缩格式时,必须一个列族一个列族的改。

  4. enable test表:

    hbase> enable 'test'
    
  5. enable之后,还需要做一次大合并才能让压缩格式生效:

    hbase> major_compact 'test'
    

    需要注意的是,千万不要在表繁忙期间执行大合并操作。

  6. describe test表看一下有没有生效:

    hbase> describe 'test'
    Table test is ENABLED
    test
    COLUMN FAMILIES DESCRIPTION
    {NAME => 'c', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP
    _DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}
    
  7. 最后我们看一下,开启了Snappy之后的压缩比:

    $ hadoop fs -du -h /hbase/data/default/
    8.1 G /hbase/data/default/test
    

    我们可以看到将近压缩了33%,还是十分可观的。

总结

本文主要介绍了如何利用HBase shell在表上开启Snappy压缩。通过实践表明,Snappy拥有较高的压缩比。通过开启Snappy压缩,企业可以极大地节省磁盘存储成本,尤其是当企业采用SSD存储时,节省的成本将会更多。

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址