蒋旭:Kylin——基于Hadoop的大规模联机分析引擎
发布时间:2014-10-30 18:18 点击数:

内容简介:2014年10月25日,由eBay、CSDN共同举办的“大数据峰会”将在上海豫园万丽酒店举办。eBay资深架构师蒋旭,分享了eBay刚刚开源的技术Kylin——基于Hadoop的大规模联机分析引擎。随着eBay大量数据都迁移到Hadoop上,如何读取数据?如何达到百亿数量级的数据,秒级时间内就能收到数据分析结果?而Hive又太慢了,eBay开发了Kylin来完成这个任务。现在已经有很多SQL-on-Hadoop技术了,为什么还要重复造车轮?蒋旭分析了现有系统的问题,多数选择ROLAP的模式,数据集一大,latancy特别长。eBay选择了MOLAP和ROLAP的混合模式,并坚持尽量使用Hadoop已有功能的原则,Kylin支持ANSI-SQL的query。