剑客
关注科技互联网

迷你书: 架构师特刊:Apache Kylin实践

卷首语

作者:韩卿(Luke Han)

麒麟者,神兽也,古人以为,其为四灵之一,仁兽,凡其出没,必有祥瑞。

两年前,我们在eBay的时候开源了一个大数据OLAP框架,在基本都是使用动物来命名项目名字的大数据生态中,我们选取了麒麟,Kylin,作为项目的名字,最终成为了今天的Apache Kylin项目,这在世界众多大数据及开源项目中一眼即知这是来自中国的开源项目。

在Hadoop被证明是一个优秀的大数据存储及批处理的平台之后,自然而然用户的需求是如何在 Hadoop平台之上实现传统数据仓库,商业智能的能力,提供交互式的,多维分析能力,或者,换句话说,如何在Hadoop之上,构建数据集市及数据仓库,并提供在传统数据仓库技术所不能做到的超大规模数据集的快速查询,并使用普通的PC硬件,而无需采购专用的,私有的一体机或者高端存储等。

因此,Kylin项目一经开源,即获得了业界众多的称赞,并被邀请加入Apache软件基金会的孵化项目,在2014年11月,正式经投票加入了Apache大家庭,项目名字也改成了“Apache Kylin”,在项目开源伊始即幸运的加入全球最大的开源软件基金会,从而开启了麒麟大数据之旅。

在2015年11月,Apache Kylin经项目管理委员会及孵化器管理委员会共同投票,正式毕业成为Apache顶级项目,和Apache Hadoop, Apache Spark, Apache Kafka等众多软件一起成为顶级项目,这是中国工程师的骄傲,目前为止,Apache Kylin是唯一来自中国的Apache顶级开源项目。我本人也成为Apache软件基金会唯一一位来自中国的项目管理委员会主席,副总裁。并被提名成为 Apache Member (ASF Member)。目前,项目发展了众多的 PMC member 及 committer,包括来自Kyligence、美团、百度、京东、eBay等众多的贡献者及用户活跃在Kylin的社区。

开源项目,开源容易使用难,被广泛使用则更难。而今天,经过Kylin社区两年不断的努力和发展,已 经有超过100多家国内国外的公司正式使用Kylin作为其大数据分析平台的核心。包括eBay、Glispa、微软、Expedia、百度、美团、网易、京东、唯品会、中国移动、中国电信、国泰君安、华泰证券、联想、〇PP〇、魅族、去哪儿,等等。Apache Kylin被用到了诸多如数据仓库,用户行为分析,流量(日志)分析,自助分析平台,电商分析,广告效果分析,实时分析,数据服务平台等各种场景。并且众 多使用者在贡献了非常多的代码,特性等同时,也分享了很多的案例参考,促进了Kylin社区的进一步发展。

开源,也促进的商业模式的变革,从最早的Linux商业化公司红帽,到今天,Hadoop诞生了 Cloudera, Hortonworks, MaR, Kafka诞生了Confluent, Spark核心开发者则组建了Databricks。同样,Kylin的核心开发者,也在中国组建了Kyligence,作为中国唯一一家完全由Apache顶级项目核心开发者组建的公司,在中国及国际上进行开源-商业模式的探索和尝试,从提供企业级的Kyligence Analytics Platform,,到在线的诊断与支持服务KyBot等,正在一步步实践开源-创业-商业的转换路径。

在过去的两年,在Kylin的开源道路上,InfoQ—直是我们的好朋友,作为国内最专业的技术媒体,一直关注、帮助并支持Kylin的开源和发展,发表了众多的技术文章,为广大开发者,使用者等各位朋友带去了最新的Kylin技术架构、算法及众多的实际用户案例。值此开源两年之际,InfoQ将之前发表的Kylin相关的文章集结成册,向社会发行电子书,在此我谨代表Kylin社区对此表示由衷的感谢。并且也希望本电子书能为各位读者带来更多更有价值的Kylin,大数据分析技术及相关的案例,同时,也期待更多的朋友不仅仅使用Kylin,而更多的贡献到Kylin社区,推动Kylin技术的演进,并一起来发展和壮大Kylin社区在国际上的影响力。也期待更多的朋友能够撰写相关的技术文章,案例分享并推荐给InfoQ。

最后,感谢eBay最初贡献并开源了Apache Kylin项目,感谢Kylin的导师、核心开发者、贡献者、用户及社区的每一位朋友,欢迎大家使用并参与Kylin社区,如果有任何问题或者建议,欢迎将相关内容发 送给我们邮件列表。

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址