剑客
关注科技互联网

标签:HBase

技术教程

发生在Optimizely公司的由批量到流式分析的故事

阅读(25)评论(0)

本文原作者为Optimizely的分布式系统工程师David Yu。我们在Optimizely公司的使命就是帮助决策者们把数据转变为行动。这需要我们能够快速并可靠地移动数据。我们每天要处理几十亿个用户事件,包括浏览网页、点击和定制事件等。能...

技术教程

HBase原理-数据读取流程解析

阅读(44)评论(0)

和写流程相比,HBase读数据是一个更加复杂的操作流程,这主要基于两个方面的原因:其一是因为整个HBase存储引擎基于LSM-Like树实现,因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件;其二是因为HBase中更新操作以...

技术教程

SQL on HBase:Phoenix 综述

阅读(106)评论(0)

Phoenix最早是saleforce的一个开源项目,后来成为Apache基金的顶级项目。Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据...

技术教程

HBase最佳实践-写性能优化策略

阅读(68)评论(0)

上一篇文章主要介绍了HBase读性能优化的基本套路,本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存Memstore,当Memstor...

技术教程

HBase RowKey设计

阅读(42)评论(0)

HBase中的记录行按行键的字典顺序进行排序。这种设计有利于扫描(scan)记录。因此我们可以合理的设计行键,将相关的行或者需要一起读取的行放得靠近一些。不过设计得不好的行键也是热点现象的常见来源。当大量客户端流量指向集群中一个或少数几个节...

技术教程

HBase最佳实践-读性能优化

阅读(57)评论(0)

任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full ...

技术教程

HBase Shell整理

阅读(42)评论(0)

简单整理了下HBase Shell的常见命令。查看HBase版本。查看HBase集群的状态。创建表。建表时需要指定表名及列族的名称。

技术教程

HBase最佳实践-读性能优化策略

阅读(83)评论(0)

任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full ...

公开课

HBase 节点的管理

阅读(21)评论(0)

本课程是《HBase 系统管理员》课程体系中的一个课程。主要介绍如何针对 HBase 中的节点进行管理操作。

公开课

Phoenix:SQL On HBase

阅读(27)评论(0)

Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒...

公开课

HBase Rest/Thrift

阅读(31)评论(0)

通常情况下访问 HBase 只能通过 HBase shell 命令行、Java Api 来访问,如果其他语言的开发者(Python/PHP/C++/...) 需要访问 HBase 的话,就显得吃力了,因此 HBase 提供了 Rest/Th...

公开课

Hive On HBase

阅读(36)评论(0)

Hive 方便地提供了 Hive QL 的接口来简化 MapReduce 的使用,而 HBase 提供了低延迟的数据库访问。如果两者结合,可以利用 MapReduce 的优势针对 HBase 存储的大量内容进行离线的计算和分析。

公开课

HBase 与 Phoenix

阅读(28)评论(0)

HBase 本身并不支持使用标准的 SQL 进行查询等操作,本课程将介绍一个可以实现使用 SQL 进行 HBase 操作的工具-- Phoenix。