摘要:4月24日-26日,HDC.Cloud2021在深圳大学城成功举办,华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建3种数据湖:离线数据湖、实时数据湖、逻辑数据湖,更有现场沙箱实验和名师大讲堂,一起来细品。
2021年4月26日,HDC.Cloud2021(华为开发者大会2021)成功落下帷幕。本次大会,华为云FusionInsight MRS云原生数据湖带着“一架构三湖”的愿景与使命来到现场,与众多行业客户、合作伙伴、开发者一起,就如何在5G、AI、IoT高速发展的当下,用更好的技术创新,赋能千行百业等议题进行深入的探讨。下面,让我们一起再次重温本次活动的精彩瞬间。
数据使能展区华为云FusionInsight MRS云原生数据湖绽放光彩华为云FusionInsight MRS一架“构”三湖
在数据使能展区,华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建3种数据湖:离线数据湖、实时数据湖、逻辑数据湖,支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数据仓库、数据接入和治理等大数据应用场景,使政企客户高效用数、简化用数,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快。
离线数据湖:HetuEngine提供秒级交互式查询能力,数据不出湖,分析链路短,性能比Impala快30%+,分析提效10倍+;DLC提供统一的元数据,数据全局可视;HetuEngine提供湖内统一SQL接口:HDFS、Hive、HBase、ES等,简化用数。
实时数据湖:流处理 + Hudi实现数据更新入湖,从T+1到T+0;ClickHouse提供毫秒级实时OLAP分析能力;Flink提供FlinkSQL能力,批流SQL接口统一,实现流批一体。
逻辑数据湖:HetuEngine提供跨湖、跨仓、跨云统一访问,减少数据搬迁,数据高效流动,全域数据秒级协同分析秒级响应,业务上线效率提升10倍,由周级缩短至天级。
华为云FusionInsight MRS践行产学研合作,全面推进大数据开源技术发展,联合清华大学发布了IoTDB时序引擎版本。目前华为云FusionInsight MRS已应用于60多个国家3000+客户,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!
华为云FusionInsight技术生态工程师黄昊兮讲解实验
在华为云FusionInsight MRS云原生数据湖展台的一侧,设有开发者实操的沙箱实验室,华为云FusionInsight技术生态资深工程师黄昊兮,在现场为大家现身授教,讲述“使用MRS Hudi体验实时入湖、使用MRS Clickhouse体验实时OLAP、使用MRS HetuEngine体验跨源跨域分析能力”三个实验,通过上手实操体验加深了解各组件的特性你,Hudi能够支持数据增量更新,从传统Append 到 Upsert,实现数据实时更新,数据价值释放从T+1转变为T+0;Clickhouse具备毫秒级的OLAP分析能力,实现数据分析不出湖,解决了传统数据冗余、来回搬迁的问题;HetuEngine提供统一标准SQL对分布于多个地域(或数据中心)的多种数据源实现高效访问,屏蔽数据在结构、存储及地域上的差异,实现数据与应用的解耦。
华为云FusionInsight MRS云原生数据湖展区
展区不仅拥有华为云FusionInsight MRS云原生数据湖一架“构”三湖的特性,更有落地实际应用的沙箱体验,让观展嘉宾在获得大数据前沿技术的同时,收获一份上手操作的亲身体验。
名师大讲堂:畅谈新技术、新价值、新趋势大会期间,由华为技术专家天团打造的《名师大讲堂》系列专题演讲,围绕云原生、大数据、人工智能等话题,探讨技术创新带来的价值,分享创新实践。其中,华为云FusionInsight MRS云原生数据湖带来两场专家演讲,由华为云FusionInsight解决方案架构师许田立,分享“千级节点的大数据集群如何无业务中断升级”主题,由HetuEngine架构师武文博,分享“跨源、跨域场景下如何实现海量数据分钟级分析”主题。
千级节点的大数据集群滚动升级,业务无中断