基本信息
- 来源: juejin
- 原始来源: https://juejin.cn/post/7613680097549762575
来源摘要/节选
公开展示已截断至最多 800 个字符;请访问原始来源查看完整上下文。
导读: 易车引入 Apache Doris 取得以下核心成果: 替换 Druid、Kudu、ClickHouse 等近 10 种数据引擎 构建 Apache Doris + Paimon + Hive 湖仓架构 探索 Doris + AI(ChatBI、Data Agent)融合应用 覆盖实时多维分析、用户画像、BI 报表等核心场景 数据的爆发式增长与业务对实时性的极致追求,驱动易车技术团队在实时湖仓建设上持续探索。目前易车已基于 Apache Doris + Paimon + Hive 构建了湖仓一体化数据平台,实现架构收敛统一: 逐步替换 Druid、Kudu、HBase、MongoDB、ClickHouse 等近 10 种引擎。 广泛应用于实时多维分析、用户画像及标签体系、BI 报表(实时报表、仪表盘)等核心场景。在此基础上,团队进一步探索 Apache Doris + AI 的融合应用 ,为智能化业务提供实时、统一的数据底座。本文将具体讲述易车数据平台架构的演进及具体实践。 一、早期架构:多引擎混用,流批难统一 易车数据平台的数据源丰富多样,涵盖业务日志、业务数据库(RDS/自建库)、消息系统、接口数据、第三方 API 及应用程序等。 团队通过内部数据集成工具将多源数据统一接入数据平台:底层离线数仓以 Hive 为主、基于 Hudi 构建数据湖;半结构化数据则主要存储在 Elasticsearch、HBase、MongoDB 中。 在 OLAP 引擎层面,团队先后使用过 Kudu、Kylin、Druid、ClickHouse 等多种引擎,即席分析 MPP 架构方面则使用了 Impala、Spark、Presto 等计算引擎,为数据分析、实时大屏、实时指标、个性化推荐等上层应用提供服务。…
来源说明
当前只保存了公开页面节选,不代表原文全文。请以原始来源为准。
本页只呈现已做哈希绑定的来源证据,不包含基于旧正文或缺失原文的扩展推断。