是一个快速的列式分布式的支持实时分析的数据存储系统

处理PB级数据，毫秒级查询，数据实时处理方面，比传统的OLAP系统有显著的性能改进

注意点：阿里Druid和本文的Druid没有关系，阿里Druid是一个数据库连接池的项目

特点

· 列式存储格式

· 可扩展的分布式系统

· 大规模的并行处理

· 实时或批量摄取

· 自愈，自平衡，易操作

· 数据进行了有效的预聚合或预计算

· 数据结果应用了Bitmap压缩算法

应用场景

· 适用于清洗好的记录实时录入，但不需要更新操作

· 适用于支持宽表，不用Join的方式（是一张单表）

· 可以总结出基础的统计指标，用一个字段表示

· 实时性要求高的场景

· 对数据质量敏感度不高的场景

Druid对比

· Druid

· 是一个实时处理时序数据的OLAP数据库，

· 索引首先按照时间分片

· 查询的时候也是按照时间线去路由索引

· Kylin

· 核心是Cube

· Cube是一种预计算技术

· 基本思路：预先对数据作多维索引

· 查询时只扫描索引，不访问原始数据从而提速

· Presto

· 没有使用MapReduce

· 大部分场景下比Hive快一个数量级

· 关键：所有的处理都在内存中完成

· Impala

· 内存运算，速度快

· 支持数据源没有Presto多

· Spark SQL

· 基于Spark平台上的OLAP框架

· 基本思路：增加机器来并行计算，提高查询速度

· ES

· 特点：使用了倒排索引解决索引问题

· es在数据获取和聚集用的资源比Druid高

框架选型：

超大数据的查询效率：Druid--->Kylin---->Presto---->Spark SQL

支持的数据源种类：Presto---->Spark SQL ---->kylin----->Druid

Druid框架原理

· MddleManager Nodes

· 负责读取数据

· 接收写的请求

· Broker Nodes

· 负责接收客户端请求的

· 客户端的读取请求

· Historical Nodes

· 关于历史的节点

· Coordinator Nodes

· 协调器

· Overlord nodes

· 主节点（负责协调节点)

写流程（于Hbase结构类似)：

· Streaming Data(流式数据)/batch Data(批数据)

· 写入MddleManager Nodes(有可能有多个节点)

· 写入内存中（达到一定小大后）

· 按时间先后顺序写（按照时间字段值排序）

· 落盘Deep Storage

· 可以顺便配置

· 可以配置到HDFS上

· 形成一个个文件（segment）

· 读取数据：

· 用户请求给

· Broker Nodes

· 去MiddleManager(内存)

· historical Nodes(去hdfs上获取历史数据)

· 都获取到经过分析和计算在发送到客户端

· Coordinator

· 协调读取任务

· 读取数据可能读取大量数据

· 历史节点比较多

· 任务如何分片历史节点（由Coordinator Nodes分配）

· Overlord Nodes

· 管理Mddlemanage Nodes写任务

· Zookeeper

· 元数据

· 涉及到多个节点

· 会出现HA情况

· 监控每个节点状况

· Metadata

· 存储Druid的Segment的元数据

数据结构

与Druid结构相辅相成的基于DataSource和Segment的数据结构，共同成就Druid的高性能优势

DataSource

Druid的DataSource相当于关系型数据库中的表

结构

· 时间列

· 表名每行数据的时间值，默认使用UTC时间格式且精确到毫秒级别

· 维度列

· 维度来自于OLAP的概念，用来标识数据行的各个类别信息

· 指标列

· 用于聚合和计算的列，通常时一些数字，计算操作通常Count,Sum等

·

·

· 无论是实时数据消费还是批量数据处理

· Druid基于DataSource结构存储数据时即可选择对任意的指标列进行聚合操作

· 该聚合操作主要基于维度列和时间范围两方面的情况

·

·

· Druid在数据存储时便可对数据进行聚合操作

· 该特点时Druid不仅能够节省存储空间，极高聚合查询的效率

· DataSource是一个逻辑概念

· Segment却是数据的实际物理存储模式

· Druid将不同时间范围内的数据存户在不同的Segment数据块中

· 这就是数据横向切割

· 按照时间横向切割数据，避免了全表查询，极大的提高了效率

· 在Segment中，采用了面向列进行数据压缩存储（Ditmap压缩技术），这便是数据纵向切割

·

·