剑客
关注科技互联网

标签:Apache

技术教程

Yelp的实时流技术之四:流处理器PaaStorm

阅读(26)评论(0)

这是关于Yelp的实时流数据基础设施系列文章的第四篇。这个系列会深度讲解我们如何用“确保只有一次”的方式把MySQL数据库中的改动实时地以流的方式传输出去,我们如何自动跟踪表模式变化、如何处理和转换流,以及最终如何把这些数据存储到Redsh...

技术教程

流处理技术谬见大消除

阅读(60)评论(0)

我们在思考流处理问题上花了很多时间,更酷的是,我们也花了很多时间帮助其他人认识流处理,以及如何在他们的组织里应用流处理来解决数据问题。

技术教程

Kafka Storm HDFS Architecture Design

阅读(293)评论(0)

Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。下面,简单介绍编程实践过程中需要理解的Storm中的几个概念:

技术教程

图解 Session(会话)

阅读(49)评论(0)

相继 图解Http协议   和   图解Cookie   之后,中间迷茫期哈,没写了!可是又要告诉你自己明明喜欢写为啥不写了!那就写吧,学到老学到老~ 然后写到老!本系列皆 以图为...

技术教程

Apache Kylin发布新版流处理引擎

阅读(82)评论(0)

Apache Kylin在 1.5.0 推出了从流数据进行准实时(Near Real Time)处理功能,可以直接从Apache Kafka的主题(Topic)中消费数据来构建Cube。Apache Kylin 1.5.0的流处理是一次实验...

技术教程

揭开暗网服务的神秘面纱(上)

阅读(59)评论(0)

各位Freebuf的同学们大家好,我将会在这一系列的文章中跟大家讨论有关匿名系统安全方面内容,包括暗网的运行机制以及其中的各种匿名服务。以下是我在2016年HackFest大会(2016年11月5日)上所做的演讲内容,如果有不对的地方欢迎大...

技术教程

JMXtrans + InfluxDB + Grafana实现Kafka性能指标监控

阅读(84)评论(0)

一般系统监控通常分为3部分:数据采集分析与转换展现(可视化)对于前端应用,一般需要埋点,对用户的行为进行记录。 如果不埋点,则需要通过Pagespeed、PhantomJS这样的工具去模拟用户行为进行测试。后端的系统通常有自己的性能指标。我...

技术教程

迷你书: 架构师特刊:Apache Kylin实践

阅读(110)评论(0)

麒麟者,神兽也,古人以为,其为四灵之一,仁兽,凡其出没,必有祥瑞。两年前,我们在eBay的时候开源了一个大数据OLAP框架,在基本都是使用动物来命名项目名字的大数据生态中,我们选取了麒麟,Kylin,作为项目的名字,最终成为了今天的Apac...

技术教程

Apache Flink

阅读(64)评论(0)

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应...

技术教程

流处理和Lamda架构中的挑战

阅读(58)评论(0)

供职于LinkedIn公司流处理架构部门的Kartik Paramasivam在今年夏天撰写了两篇 文章 ,解释了LinkedIn力图在使用 Apache Samza 做数据处理中避免 Lambda架构 的原因及具体做法。