剑客
关注科技互联网

标签:HDFS

技术教程

深刻理解HDFS工作机制

阅读(57)评论(0)

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请...

技术教程

通过HA访问Hdfs获取ActiveNode

阅读(257)评论(0)

通过HA访问Hdfs的时候如何获取到活跃节点是一个稍稍有些麻烦的事情。目前使用过两种方案:一是通过webhdfs接口逐一访问测试,找到状态为可用的节点;一是在zookeeper上直接获取当前活跃的节点。

技术教程

HDFS NameNode内存详解

阅读(58)评论(0)

《 HDFS NameNode内存全景 》中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案。

技术教程

Kafka Storm HDFS Architecture Design

阅读(477)评论(0)

Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。下面,简单介绍编程实践过程中需要理解的Storm中的几个概念:

技术教程

HDFS & MapReduce异构存储性能测试白皮书

阅读(236)评论(0)

我们已经进入数据时代,很难评估电子存储数据的总量,但是IDC评估2013年数据量为4.4Zettabytes,预计到2020年数据会增长十倍到44Zettabytes。如何高效处理每年生成的巨量的数据?处理大规模数据需要并行计算和存储架构,...

技术教程

Hadoop namenode 高可用性分析:QJM 核心源代码解读

阅读(89)评论(0)

HDFS namenode 在接受写操作时会记录日志,最早 HDFS 日志写本地,每次重启或出现故障后重启,通过本地镜像文件+操作日志,就能还原到宕机之前的状态,不会出现数据不一致。如果要做高可用 (HA),日志写在单个机器上,这个机器磁盘...

技术教程

HDFS NameNode内存全景

阅读(119)评论(0)

从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模地持续增长,很多小量级时被隐藏的问题逐渐暴露出...