Iceberg构建湖仓一体架构的必备,与Delta Lake、hudi齐名,数据湖技术三驾马车。
2023-05-28 22:43:50 1.6MB deltalake 数据仓库 数据湖 湖仓一体
1
基于最新版本的湖仓一体、流批一体架构方案 hadoop-3.3.4+tez-0.10.2+hive-3.1.3+hbase-2.4.14+atlas-2.2.0+kafka- 2.8.2+ranger-2.3.0+flink-1.15.2+spark-3.3.0+hudi-0.12.1.jar+iceberg-0.14.1.jar+streamx
2022-12-21 19:23:13 51B hadoop hudi iceberg flink
1
星环科技多模型数据库ArgoDB“一库多用“,构建高性能湖仓集一体平台
2022-07-26 19:04:58 279KB 多模数据库 湖仓一体 数据库
1
湖仓一体是大数据的未来吗?-9.9.pdf
2022-07-03 13:04:42 2.93MB 湖仓一体
大多数大数据企业在构建数仓时采用Lambda架构,一条离线数仓链路,一条实时数仓链路。一些实时业务多的公司构建数仓时采用Kappa架构,但是也避免不了离线处理一些数据,所以一些公司也采用Kappa架构+Lambda架构方式构建数仓。以上不同的架构都有各自的优点及缺点,这里不再赘述。批数据处理与流式数据处理的不同效率决定了针对两类数据采用不同的架构进行分析处理,未来数据仓库的发展也终将走向批数据和流数据使用同一套架构处理,同时也要求批数据及流数据存储上也需要统一,这就所说的批流一体,那么使用什么技术可以既能满足批数据海量存储分析又能满足实时数据存储的效率高、支持数据更新删除?数据湖技术应运而生,湖仓一体架构也被提出。Iceberg就是典型的数据湖技术,支持批数据和流式数据的存储,同时还支持高效的OLAP分析查询。
2022-06-21 21:03:20 901.19MB 数据湖 湖仓一体化 iceberg
滴普湖仓一体架构探索与实践-.pdf
2022-05-28 11:05:37 3.42MB 数据库技术 IOTE
万亿级湖仓一体架构下的统一数据服务平台应用实践.pdf
2022-05-28 11:05:32 14.35MB 数据库技术 IOTE
eBay OLAP技术专家讲述湖仓一体的现状以及选型,比通过比较主流数仓一体的技术方案,指出大数据未来的方向
2022-04-29 18:07:39 3.2MB 文档资料 big data 大数据
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系.pdf
2022-04-06 02:53:28 3.09MB big data flink kylin