免费收录 全网行业领域精英人士必备导航,一站在手,天下我有!
当前位置:网站首页 > 新闻 > 正文

揭秘大数据时代秒级查询响应引擎的架构设计

admin 2020-07-05 511 浏览 0 评论

近年来,大数据技术发展迅速,从过去的 Hive、Spark,到现在的 Flink、ClickHouse、Iceberg 等,各种大数据技术推陈出新,不断演进大数据存储和引擎系统的架构,来适应大数据时代的海量数据处理需求。

揭秘大数据时代秒级查询响应引擎的架构设计  第1张

而随着技术的更迭,每次架构演进都需开发人员重构一次业务代码,既耗费了开发人员的精力,又会影响数据处理的效率。另外,在 PB 级数据体量下,开发人员还面临数据秒级处理与数据准确兼顾的挑战。

为此,易观基于 IOTA 架构思想设计出秒算引擎架构,以解决开发人员在数据处理上遇到的难题,并提升数据处理效率与质量。那可以秒级查询响应的秒算引擎是如何设计的呢?易观 CTO 郭炜与易观架构师高俊,给出了详细的分析和解读。

基于 IOTA 架构的秒算引擎如何设计?

秒算引擎是一个用户行为分析的数据解决方案,包含数据接收、数据实时处理、数据冷热存储和 OLAP 分布式 SQL 查询引擎,基于下一代 IOTA 架构设计,可针对各种业务场景进行快速分析查询。

揭秘大数据时代秒级查询响应引擎的架构设计  第2张

基于IOTA架构,支持引擎快速升级

整体架构上,通过 SDK 在设备端将采集的数据转化成统一的数据模型,然后传送到秒算引擎中。秒算引擎分为临时存储、历史存储和查询引擎,由查询引擎将临时数据和历史数据合并,并提供统一的查询接口供用户查询。

架构以统一的数据模型贯穿始终,秒算引擎内部模块支持热插拔,可以保持前端查询引擎不变的情况下,将存储引擎个性化更换。

数据模型采用高度抽象的主谓宾数据模型,既能规范各端数据格式,又具有通用性和扩展性,解决了传统非结构化数据在结构化存储时带来的数据质量问题。秒算引擎还可实时处理用户上报的数据并入库,并立即和历史数据一起被分析计算。

除此之外,秒算引擎中数据表的表结构是由收到的真实数据动态生成,用户可以随时上报自己感兴趣的数据和字段,解决了过去分析系统 Schema 维护难的问题。还具有热数据自动 Dump 到磁盘、磁盘上的小文件自动 Merge、支持多种数据源的数据统一查询分析等特点。

数据处理性能提升 200% 秒算引擎 2.0 如何优化?

 一、实时数据缓冲层架构升级

秒算引擎中,历史数据都保存在 Hive 中,不过 HDFS 文件对追加写的支持不友好,需要将最近一段时间内上报的数据暂时存储在支持高吞吐、低延迟写入更新的数据库中。当数据量达到一定的阀值时,由秒算的后台线程将数据 Dump 到 Hive 中。整个过程,通过 Presto 的视图来保证 Hive 中的数据和实时缓冲层的数据同时参与分析计算。

揭秘大数据时代秒级查询响应引擎的架构设计  第3张

Kudu引擎“透明”替换,数据处理性能数倍提升

由于单一的技术方案无法应对越来越差异化的需求场景,在秒算引擎 2.0 中抽象了 Buffer 层,以实现快速的切换新的缓冲层数据库,同时也让秒算引擎拥有更好的扩展性。秒算 2.0 通过采用 Kudu 替换 Hbase,数据处理的消费性能和持久化性能分别分别提升 200% 和 300%。

 二、智能虚拟分桶

相关推荐

万茜李庚希《兔子暴力》曝东京电影节版海报 影片首映大获好评
万茜李庚希《兔子暴力》曝东京电影节版海报 影片首映大获好评

  由方励担任制片人,李玉监制,申瑜执导,万茜、李庚希领衔主演,黄觉、潘斌龙和是安特邀主演的电影《兔子暴力》日前入围第33届东京国际电影节“...

4个月前 (11-09) admin

《风平浪静》周末开画全球最高 《信条》全球破3.5亿美元
《风平浪静》周末开画全球最高 《信条》全球破3.5亿美元

  刚刚过去的这一周(11.2-11.8),内地市场七天仅产出票房3.95亿,单周观影人次仅1100万出头,均创下8月中旬以来的最差成绩。 ...

4个月前 (11-09) admin

长安汽车任勇:构建安全可靠供应链 助力汽车强国梦
长安汽车任勇:构建安全可靠供应链 助力汽车强国梦

凤凰网汽车讯 “我国汽车产业链布局日趋完善,逐渐以大型的整车企业为核心,形成了一定产业链的集群效应。但在基础材料及关键核心零部件领域,还存在短板和不足...

5个月前 (09-17) https://auto.ifeng.com/c/7zpzBGqEFiC

 上汽大众新能源汽车工厂将于10月正式投产
上汽大众新能源汽车工厂将于10月正式投产

凤凰网汽车讯日前,我们从上汽大众了解到,作为大众汽车集团全球首个专为MEB平台车型生产而全新建造的工厂,上汽大众新能源汽车工厂被寄予厚望。新能源汽车工厂位于上...

5个月前 (09-17) https://auto.ifeng.com/c/7zpDXgwgLiq

外媒解析美股暴跌原因:“大泡沫已开始浮现”

    据《华尔街日报》报道,近几个月来一直领涨股市的科技股在周四(9月4日)普遍下跌,导致美股大幅下挫,创下6月份以来最差表现。以科技股为主的纳斯达克综...

监管加码 多部门严控房企融资规模

  近一个多月,多个部门开始释放调控房地产市场和收紧房地产企业融资阀门的政策信号。日前,住房城乡建设部、人民银行在北京召开重点房地产企业座谈会,形成重点房地产企业资金监测和融资管理规则。在此次座谈会之...

中国高铁故事电视剧《飞速时代》
中国高铁故事电视剧《飞速时代》

    新华社北京8月28日电(记者白瀛)电视剧《飞速时代》28日在京启动拍摄。该剧以中国铁路发展为脉络,以高铁建设为主...

6个月前 (08-29) admin

《太行之脊》再现八路军一二九师抗战史
《太行之脊》再现八路军一二九师抗战史

《太行之脊》剧照。  重大革命历史题材电视剧《太行之脊》于8月26日在央视一套播出。该剧以八路军第一二九师艰难又辉煌的抗战历程为主线,生动再现了第一二九师在刘伯...

6个月前 (08-29) admin

中国电影保持长期向好态势 产业升级势在必行

  7月16日,国家电影局下发通知,在疫情防控常态化条件下,自7月20日起有序推进电影院恢复营业开放。一个多月的时间里,全国电影界攻坚克难,制片企业迅速组织复工复产率达80%以上,开放营业影院达920...

《信条》曝“逆时存亡”版预告 “时空逆转”引发特工极限任务
《信条》曝“逆时存亡”版预告 “时空逆转”引发特工极限任务

电影《信条》剧照由传奇导演克里斯托弗·诺兰(ChristopherNolan)执导的最新原创科幻动作奇观大片《信条》(Tenet)将于9月4日登陆中国内地大...

6个月前 (08-21) http://ent.ifeng.com/c/7z6y7rGedMm

取消回复欢迎 发表评论: