Ion Stoica:使用伯克利数据分析堆栈分析大数据
发布时间:2014-08-11 11:20 点击数:

内容简介:中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。BDTC 2013中国大数据技术大会首日全体大会上,UC Berkeley计算机教授,AMPLab共同创始人,Spark、Mesos核心设计者Ion Stoica发表了题为《使用伯克利数据分析堆栈分析大数据》的演讲。Ion谈到了BDAS的软件框架与Hadoop软件堆栈的关系:它们是互补的,Mesos+Tachyon相当于YARN+HDFS,Spark相当于MapReduce,双方可以灵活的组合。同时,对比原有组合,BDAS的性能要快得多。Ion Stoica认为堆栈必须解决大数据带来的挑战,同时需要统一化批量化处理,在同一个系统中进行使用,使整个过程更便捷。