百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 博客教程 > 正文

重要,知识点:InnoDB的插入缓冲

connygpt 2024-09-06 19:42 9 浏览

InnoDB引擎有几个重点特性,为其带来了更好的性能和可靠性:

  • 插入缓冲(Insert Buffer)
  • 两次写(Double Write)
  • 自适应哈希索引(Adaptive Hash Index)
  • 异步IO(Async IO)
  • 刷新邻接页(Flush Neighbor Page)

今天我们的主题就是 插入缓冲(Insert Buffer),由于InnoDB引擎底层数据存储结构式B+树,而对于索引我们又有聚集索引和非聚集索引。

在进行数据插入时必然会引起索引的变化,聚集索引不必说,一般都是递增有序的。而非聚集索引就不一定是什么数据了,其离散性导致了在插入时结构的不断变化,从而导致插入性能降低。

所以为了解决非聚集索引插入性能的问题,InnoDB引擎 创造了Insert Buffer。

Insert Buffer 的存储

看到上图,可能大家会认为Insert Buffer 就是InnoDB 缓冲池的一个组成部分。

**重点:**其实对也不对,InnoDB 缓冲池确实包含了Insert Buffer的信息,但Insert Buffer 其实和数据页一样,也是物理存在的(以B+树的形式存在共享表空间中)。

Insert Buffer 的作用

先说几个点:

  • 一张表只能有一个主键索引,那是因为其物理存储是一个B+树。(别忘了聚集索引叶子节点存储的数据,而数据只有一份)
  • 非聚集索引叶子节点存的是聚集索引的主键

?

聚集索引的插入

首先我们知道在InnoDB存储引擎中,主键是行唯一的标识符(也就是我们常叨叨的聚集索引)。我们平时插入数据一般都是按照主键递增插入,因此聚集索引都是顺序的,不需要磁盘的随机读取。

比如表:

Bash
CREATE TABLE test(
	id INT AUTO_INCREMENT,
	name VARCHAR(30),
	PRIMARY KEY(id)
);
复制代码

如上我创建了一个主键 id,它有以下的特性:

  • Id列是自增长的
  • Id列插入NULL值时,由于AUTO_INCREMENT的原因,其值会递增
  • 同时数据页中的行记录按id的值进行顺序存放

一般情况下由于聚集索引的有序性,不需要随机读取页中的数据,因为此类的顺序插入速度是非常快的。

但如果你把列 Id 插入UUID这种数据,那你插入就是和非聚集索引一样都是随机的了。会导致你的B+ tree结构不停地变化,那性能必然会受到影响。

非聚集索引的插入

很多时候我们的表还会有很多非聚集索引,比如我按照b字段查询,且b字段不是唯一的。如下表:

Bash
CREATE TABLE test(
	id INT AUTO_INCREMENT,
	name VARCHAR(30),
	PRIMARY KEY(id),
	KEY(name)
);
复制代码

这里我创建了一个x表,它有以下特点:

  • 有一个聚集索引 id
  • 有一个不唯一的非聚集索引 name
  • 在插入数据时数据页是按照主键id进行顺序存放
  • 辅助索引 name的数据插入不是顺序的

非聚集索引也是一颗B+树,只是叶子节点存的是聚集索引的主键和name 的值。

因为不能保证name列的数据是顺序的,所以非聚集索引这棵树的插入必然也不是顺序的了。

当然如果name列插入的是时间类型数据,那其非聚集索引的插入也是顺序的。

Insert Buffer 的到来

可以看出非聚集索引插入的离散性导致了插入性能的下降,因此InnoDB引擎设计了 Insert Buffer来提高插入性能 。

我来看看使用Insert Buffer 是怎么插入的:

?

首先对于非聚集索引的插入或更新操作,不是每一次直接插入到索引页中,而是先判断插入的非聚集索引页是否在缓冲池中。

若在,则直接插入;若不在,则先放入到一个Insert Buffer对象中。

给外部的感觉好像是树已经插入非聚集的索引的叶子节点,而其实是存放在其他位置了

以一定的频率和情况进行Insert Buffer和辅助索引页子节点的merge(合并)操作,通常会将多个插入操作一起进行merge,这就大大的提升了非聚集索引的插入性能。

Insert Buffer的使用要求

  • 索引是非聚集索引
  • 索引不是唯一(unique)的

只有满足上面两个必要条件时,InnoDB存储引擎才会使用Insert Buffer来提高插入性能。

那为什么必须满足上面两个条件呢?

第一点索引是非聚集索引就不用说了,人家聚集索引本来就是顺序的也不需要你

第二点必须不是唯一(unique)的,因为在写入Insert Buffer时,数据库并不会去判断插入记录的唯一性。如果再去查找肯定又是离散读取的情况了,这样InsertBuffer就失去了意义。

Insert Buffer信息查看

我们可以使用命令SHOW ENGINE INNODB STATUS来查看Insert Buffer的信息:

-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 7545, free list len 3790, seg size 11336, 
8075308 inserts,7540969 merged sec, 2246304 merges
...

复制代码

使用命令后,我们会看到很多信息,这里我们只看下INSERT BUFFER 的:

  • seg size 代表当前Insert Buffer的大小 11336*16KB
  • free listlen 代表了空闲列表的长度
  • size 代表了已经合并记录页的数量
  • Inserts 代表了插入的记录数
  • merged recs 代表了合并的插入记录数量
  • merges 代表合并的次数,也就是实际读取页的次数

merges:merged recs大约为1∶3,代表了Insert Buffer 将对于非聚集索引页的离散IO逻辑请求大约降低了2/3

Insert Buffer的问题

说了这么多针对于Insert Buffer的好处,但目前Insert Buffer也存在一个问题:

即在写密集的情况下,插入缓冲会占用过多的缓冲池内存(innodb_buffer_pool),默认最大可以占用到1/2的缓冲池内存。

占用了过大的缓冲池必然会对其他缓冲池操作带来影响

Insert Buffer的优化

MySQL5.5之前的版本中其实都叫做Insert Buffer,之后优化为 Change Buffer 可以看做是 Insert Buffer 的升级版。

插入缓冲( Insert Buffer)这个其实只针对 INSERT 操作做了缓冲,而Change Buffer 对INSERT、DELETE、UPDATE都进行了缓冲,所以可以统称为写缓冲,其可以分为:

  • Insert Buffer
  • Delete Buffer
  • Purgebuffer

总结:

Insert Buffer到底是个什么?

  • 其实Insert Buffer的数据结构就是一棵B+树。
  • 在MySQL 4.1之前的版本中每张表有一棵Insert Buffer B+树
  • 目前版本是全局只有一棵Insert Buffer B+树,负责对所有的表的辅助索引进行Insert Buffer
  • 这棵B+树存放在共享表空间ibdata1中

以下几种情况下 Insert Buffer会写入真正非聚集索引,也就是所说的Merge Insert Buffer

  • 当辅助索引页被读取到缓冲池中时
  • Insert Buffer Bitmap页追踪到该辅助索引页已无可用空间时
  • Master Thread线程中每秒或每10秒会进行一次Merge Insert Buffer的操作

一句话概括下:

Insert Buffer 就是用于提升非聚集索引页的插入性能的,其数据结构类似于数据页的一个B+树,物理存储在共享表空间ibdata1中 。

相关推荐

Golang报表项目的Java重构过程

最近,完成了从原先使用Golang生成报表的工程项目,到Java项目来重构。【背景内容】最初使用Golang,主要是由于语言自身的精简性。不管是搭建HTTP服务端,还是对传统数据库的数据获取,都有...

不懂代码也能做出酷炫可视化大屏

最近在做一个数据可视化大屏项目,从指标设计、视觉设计、可视化动效到大屏硬件、开发工具整个流程,总结了一些经验和观点,想和大家分享。大屏制作工具大屏的制作,可以用代码开发或现成的可视化工具来实现。用的比...

爬虫界的启蒙老师,python超爽爬取入门案例分享

爬虫,就是授权的或公开数据的自动采集。百度,就是一只爬虫,一条百足之虫。学会爬虫,会让你以为自己离超越百度指日可待。人有多大胆,地有多大产,梦想还是要有的,万一实现了呢。人不怕有梦想,就怕不知道,不敢...

多亏这几个工具,我终于搞懂了数据分析怎么做

说起来,数据分析这东西之前真是让我头疼不已,感觉就像是个无解的迷宫。但多亏这几个工具,竟然帮我打开了这扇大门,让我终于搞明白了数据分析是怎么一回事。数据分析可不仅仅是个简单的任务,它涉及数据收集、处理...

主流富文本编辑器推荐,网站编辑器排名不分先后及特点

富文本编辑器(RichTextEditor,简称RTE)是一种提供类似于MicrosoftWord编辑功能的工具,在后台处理文章编辑时,深受不会编写HTML但又需要设置各种文本格式的用户喜爱,但...

文库系统开发全攻略:技术要点与实战案例

在信息爆炸的时代,文库系统作为知识管理的基石,正面临着前所未有的挑战。随着人工智能技术的崛起,我们有机会重新定义文档的存储、检索和交互方式。本文将深入探讨AI技术如何赋能文库系统,提升其智能化水平,从...

Apache ECharts:基于JavaScript的数据可视化图表库

#挑战30天在头条写日记#ApacheECharts是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而Python是一门富有表达力的语言,很适合用于数...

某个网站打不开,其它网站都正常怎么办?

前两天学echarts,结果官网打不开,其它网站都能正常打开,自己家里的网络打不开echarts官网,把echarts官网地址发给朋友都能打开,然后综合网上查看的资料,确定是dns的问题,有两种方法...

ECharts 水球图

水球图是一种适合于展现单个百分比数据的图表类型,ECharts的水球图插件使你能够通过非常简单的配置,实现酷炫的数据展示效果。那么,今天我们就一起来学习一下,如何使用ECharts水球图。第一步...

用echarts画图表好,还是dhtmlxGantt画图表好?实战验结果

事情是这样的早些时候,我接到了一个需求,说要将项目里程碑用甘特图展示,一脸懵逼的我先是搜一下什么是“甘特图”:From百度百科:甘特图(Ganttchart)又称为横道图、条状图(Barch...

轻量级 Markdown 写作工具:One Markdown

大家好,我是oulvhai,MWeb的作者,MWeb是macOS和iOS/iPadOS下的Markdown写作/记笔记/静态博客生成软件。所以简单地来说我就是专门做ma...

【大屏可视化组态编辑器】图表

大屏中的图表大使用的是开源可视化图表库Echarts在线编辑:https://v.le5le.com/使用1.在html中引入echarts资源包<scriptsrc="ech...

20多个好用的 Vue 组件库,请查收!

每日一荐:Freemen,程序员自己的求职招聘软件,赶紧下载收藏一波,留着下次跳槽用。在本文中,我们将探讨一些最常见的vuejs组件。你可以收藏一波。VueTables-2地址:https://g...

弃用 Echarts,推荐选择Vue Data UI!

各位网友大家好,今天,我要向大家隆重推荐一款令人惊艳的可视化图表库——VueDataUI,一个赋予用户权力的数据可视化Vue3组件库。前言VueDataUI诞生于一个问题:如果你的仪表板...

Echarts仿电梯运行图

本文适合有一定Echarts基础的人员,至少可以面向API编程。场景假设我们有这样一个需求:实现一个柱状图,柱状图中间有一个小块表示电梯,柱状图本身作为建筑物。而且电梯需要上下运行动画。实现工具优先选...