剑客
关注科技互联网

标签:MapReduce

技术教程

用Spark解决一些经典MapReduce问题

阅读(18)评论(0)

Spark是一个Apache项目,它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比,Spark可以让你的程序在内存中运行时速度...

技术教程

7招教你构建一套成功的大数据基础设施

阅读(70)评论(0)

作者:嘶吼吼现如今,大数据是许多企业IT运营的重要组成部分。根据IDC预测,到2019年,大数据产值将达到1870亿美元。作为分析的重要因素,大数据决定着机器和人类商业智能和决策的基础。因此,无论从硬件还是软件角度出发,您面向大数据构建的基...

技术教程

HDFS & MapReduce异构存储性能测试白皮书

阅读(203)评论(0)

我们已经进入数据时代,很难评估电子存储数据的总量,但是IDC评估2013年数据量为4.4Zettabytes,预计到2020年数据会增长十倍到44Zettabytes。如何高效处理每年生成的巨量的数据?处理大规模数据需要并行计算和存储架构,...

技术教程

管理大数据存储的十大技巧

阅读(41)评论(0)

在1990年,每一台应用服务器都倾向拥有直连式系统(DAS)。SAN的构建则是为了更大的规模和更高的效率提供共享的池存储。Hadoop已经逆转了这一趋势回归DAS。每一个Hadoop集群都拥有自身的——虽然是横向扩展型——直连式存储,这有助...

技术教程

MIT 6.824 lab1

阅读(46)评论(0)

花了几天功夫,断断续续做了下 lab1 。其实大部分时间都在看 Go 。非常非常简洁的一门语言。对并发的支持非常好。值得花时间学习。然而 MapReduce 并没想象的这么复杂。