起因

哗啦啦哗啦啦。。。疯狂划水的时候，项目总监过来说：小王啊，来办公室开个会……我顿时心情凝重，年底了公司到底要做出什么举措。。。到办公室正经危坐的我时不时打量着项目总监，好，人已经到齐了啊：咱们公司接下来……巴拉巴拉……好项目初期小王你要做好调研工作。我。。。

调研

开始调研，期间也咨询了许多技术大佬，刚开始觉得Dask不错，刚开始起步就踩了很多坑，当我看到Druid的时候，果断放弃了Dask，询问了技术总监大佬最终确定了Druid做为本次项目的数据计算。Apache Druid 是一个分布式内存实时分析系统，用于解决如何在大规模数据集下进行快速的、交互式的查询和分析的问题。Apache Druid 由 Metamarkets 公司（一家为在线媒体或广告公司提供数据分析服务的公司）开发，在2019年春季被捐献给 Apache 软件基金会。

Druid是什么？

• Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池，在功能、性能、扩展性方面，都超过其他数据库连接池，包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。
• Druid已经在阿里巴巴部署了超过600个应用，经过一年多生产环境大规模部署的严苛考验。
• Druid是一个JDBC组件，它包括三个部分：

1. 基于Filter－Chain模式的插件体系
2. DruidDataSource 高效可管理的数据库连接池
3. SQL Parser

• Druid支持所有JDBC兼容的数据库，包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等，并且Druid针对Oracle和MySql做了特别优化，比如Oracle的PS Cache内存占用优化，MySql的ping检测优化。
• 通过Druid提供的监控功能，监控SQL的执行时间、ResultSet持有时间、返回行数、更新行数、错误次数、错误堆栈信息，可以清楚知道连接池和SQL的工作情况，能够详细统计SQL的执行性能，这对于线上分析数据库访问性能有帮助。

Druid 介绍

说起 Druid，大家首先想到的是阿里的 Druid 数据库连接池，而本文介绍的 Druid 是一个在大数据场景下的解决方案，是需要在复杂的海量数据下进行交互式实时数据展现的 BI/OLAP 工具。

它有三个特点：

• 处理的数据量规模较大。
• 可以进行数据的实时查询展示。
• 它的查询模式是交互式的，这也说明其查询并发能力有限。

目前 Druid 广泛应用在国内外各个公司，比如阿里，滴滴，知乎，360，eBay，Hulu 等。

Druid 之所以能够在 OLAP 家族中占据一席之地，主要依赖其强大的 MPP 架构设计，关于它的架构，这里就不展开描述了，感兴趣的同学可以登陆官网 druid.io 进行了解。

除了 MPP 架构外，它还运用到了四点重要的技术，分别是：

• 预聚合
• 列式存储
• 字典编码
• 位图索引

预聚合算是 Druid 的一个非常大的亮点，通过预聚合可以减少数据的存储以及避免查询时很多不必要的计算。

由于 OLAP 的分析场景大多只关心某个列或者某几个列的指标计算，因此数据非常适合列式存储。

在列式存储的基础之上，再加上字段编码，能够有效的提升数据的压缩率，然后位图索引让很多查询最终直接转化成计算机层面的位计算，提升查询效率。

Druid 既然是 OLAP 工具，那它和其他 OLAP 工具有哪些差异呢?

图 1：OLAP 工具的对比

从上图可以看出，Kylin 和 Druid 整体上相比较其他两个还是很有优势的：

相比较 Kylin，Druid 没有模型管理和 cube 管理的能力，Kylin 无法提供实时查询。

相比较 ES，Druid 的优势在于聚合计算，ES 的优势在于查明细，在苏宁，对 Druid 的使用，一般应用在需要对数据进行实时聚合查询的场景。

Druid 架构

Apache Druid 拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储、查询等一系列流程。

下图是 Druid 工作层（数据索引以及查询）包含的组件。

下图是 Druid segments（Druid 索引文件）管理层所涉及的组件。

E-MapReduce 增强型 Druid

E-MapReduce Druid 基于Apache Druid 做了大量的改进，包括与E-MapReduce和阿里云周边生态的集成、方便的监控与运维支持、易用的产品接口等等，真正做到了即买即用和 7*24 免运维。

E-MapReduce Druid 目前支持的特性如下所示：

• 支持以 OSS 作为 deep storage。
• 支持将 OSS 文件作为批量索引的数据来源。
• 支持从日志服务（Log Service）流式地索引数据（类似于 Kafka），并提供高可靠保证和 exactly-once 语义。
• 支持将元数据存储到 RDS。
• 集成了 Superset 工具。
• 方便地扩容、缩容（缩容针对 task 节点）。
• 丰富的监控指标和告警规则。
• 坏节点迁移。
• 具有高安全性。
• 支持 HA。