高并发服务优化篇:浅谈数据库连接池
connygpt 2024-10-12 16:59 4 浏览
被N多大号转载的一篇CSDN博客,引起了我的注意,说的是数据库连接池使用threadlocal的原因,文中结论如下图所示。
来自CSDN的一篇文章,被很多号转载过
姑且不谈threadlocal的作用和工作原理,单说数据库连接池这个知识点,猛地一看挺有理;仔细一看,怎么感觉不太对啊,同学,这是什么虎狼之词。
$ 实践是检验真理的唯一标准
个人理解,连接池提供的获取连接的能力,需要对"任务"唯一,即,只有当某一线程完成了本次数据操作,将连接放回到连接池之后,其他线程才能够再次获取并使用。原因我们后面细说,先来亲自测试一下。
连接池选一个druid,设置连接池中只有一个connection,方便验证多线程应对同一个connection的场景。
首先,将datasource共享资源传入线程,采用datasource.getConnection()方式获取连接 :
注:Runnable中故意不执行connection.close
结果如上图:只有一个线程可以正常执行,由于没有被关闭,其他线程都获取连接失败了。说明,数据库连接池的作用方式是某个线程任务"独占"的。
$ 退一步来讲
假设如同开头文章中描述的,用了一个功能不完备的连接池,让多个线程拿到了同一个connection,那么,用threadlocal真的可以起到互不影响的作用么?
//验证思路参考自:https://blog.csdn.net/sunbo94/article/details/79409298
//Connection设置 autoCommit=false
private static final ThreadLocal<Connection> connectionThreadLocal=new ThreadLocal<>();
private static class InnerRunner implements Runnable{
@Override
public void run() {
//其他代码省略...
String insertSql="insert into user(id,name) value("+RunnerIndex+","+RunnerIndex+")";
statement=connectionThreadLocal.get().createStatement();
statement.executeUpdate(insertSql);
System.out.println(RunnerIndex+" is running");
//让特定的线程执行回滚,用来验证事务之间的影响
if (RunnerIndex==3){
//模拟异常时耗时增加
Thread.sleep(100);
//从threadlocal里拿连接对象
connectionThreadLocal.get().rollback();
System.out.println("3 rollback");
}else{
//从threadlocal里拿连接对象
connectionThreadLocal.get().commit();
System.out.println(RunnerIndex +" commit");
}
}
}
结果如下:
只要是线程3的statement.executeUpdate 语句运行在前,而事务回滚语句执行在某个commit之后,就会出现问题,即需要回滚的数据被提交的情况。
如下图,3的insert结果确实没有被回滚,而是出现在了表中:
所以,对于知识,大家不能盲目的接收,建议抱些怀疑的态度,还是有必要的。
$ 话说回来,为什么threadlocal对同一个数据库连接不起作用呢?
Connection是什么?
connection可以当成是服务器和数据库的一个会话,而statemant用来在会话的上下文中执行sql以及返回结果。一个connection可以包含多个statement;然而在两者中间,还有一个事务(Translation)的概念,事务用来保证其内部的语句,要么都执行,要么都不执行,如果autoCommit被开启,则默认是一个语句一个事务。
往简单点说,connection是一种共享资源,更简单一点,它是一个共享变量,在被连接池创建之后,在内存中的地址是唯一的一个变量。
ThreadLocal能存共享变量么?
存肯定能存,但不建议,因为将Connection set进ThreadLocalMap,也其实是保存一个内存对象的地址引用而已,真正使用的时候,还是唯一的那个对象在起作用。
ThreadLocal最常用的功能,是为了避免层层传递而提供了对象保存和获取方法。
高中学数学的时候曾经有过一个技巧,叫证难则反,在这里也适用。我们反过来想,如果用threadlocal的副本拷贝能实现connection的隔离,那岂不是只要一个connection就可以了?实时上呢,数据库连接常常会出现不够用的情况,结论就显而易见了~
$ 话又说回来,threadLocal想要完成数据库连接隔离的功能,需要怎么做呢?
如果非要用ThreadLocal实现这个连接隔离的功能,那么,只能是为每个线程创建新的连接,然后保存在Threadlocal中,这样,每个线程在自己的生命周期范围内只会使用这个连接,即可实现线程隔离。
$ 话又又说回来,druid、zadl等一众数据库连接池是怎么进行连接的管理工作的呢?
最大连接数为1的druid连接池原理概览:
- druid维护一个数组来存放连接
- 同时维护了多个变量来检测连接池的状态,其中poolingCount用来表示池中连接的数量
- 当有线程来获取连接时,需要先加锁,对数量进行减一操作。
- 当获取连接时发现数量为0 ,则返回为空
- 当连接关闭时,会将连接资源放回数组,并对数量做加一操作。
*上述只是druid连接池的极简版流程叙述,实际上,还有连接池空等待、满通知、活跃数、异常数等的复杂判断。*有兴趣的同学可以看下源码。
zdal的连接池管理源码一览::
public class InternalManagedConnectionPool{
//最大连接数
private final int maxSize;
//用来存放连接的链表
private final ArrayList connectionListeners;
//内部的信号量,用来控制允许获取资源的线程总数
private final InternalSemaphore permits;
//正在使用的连接数
private volatile int maxUsedConnections = 0;
protected InternalManagedConnectionPool(...){
//构造函数中,初始化了连接池大小和信号量大小
connectionListeners = new ArrayList(this.maxSize);
permits = new InternalSemaphore(this.maxSize);
}
getConnection()方法:
//获取连接
public ConnectionListener getConnection(){
//信号量尝试获取许可
if (permits.tryAcquire(poolParams.blockingTimeout, TimeUnit.MILLISECONDS)) {
ConnectionListener cl = null;
do {
//加锁资源池
synchronized (connectionListeners) {
if (connectionListeners.size() > 0) {
//获取list的最后一个
cl = (ConnectionListener) connectionListeners.remove(connectionListeners.size() - 1);
//最大连接数 减去 正在工作的信号量
int size = (maxSize - permits.availablePermits());
if (size > maxUsedConnections){
maxUsedConnections = size;
}
}
}
if (cl != null) {
return cl;
}
}while(connectionListeners.size() > 0);
//OK, 在连接池中找不到正在工作的连接了. 那就创建个新的
createNewConnection(){...}
}else{
if (this.maxSize == this.maxUsedConnections) {
throw new ResourceException(
"数据源最大连接数已满,并且在超时时间范围内没有新的连接释放,poolName = "
+ poolName
+ " blocking timeout="
+ poolParams.blockingTimeout +
"(ms)");
}
}
这里把内部连接池的管理类的关键属性和连接获取方法流量进行了简化,连接归还就不弄了,大同小异,仔细看,我们看到了什么
- volatile 标识的maxUsedConnections用来完成线程间数据可见
- 隶属于AQS系列的Semaphone,用来控制共享资源并发访问量。
都是些常见的八股文,不过组合起来可就了不得~
$ 话又又又说回来,在druid、zdal中,threadlocal的作用体现在哪里呢?
我们知道,诚如druid、zdal等优秀的中间件,可不止是数据库连接池这一个作用,阿里数据库中间件zdal源码解析 文中也有提及。
那么,ThreadLocal能在这里扮演什么角色呢?
就以zdal为例,因为阿里的数据库规模基本都非常大,但又有一套完备的数据库库表拆分规范,因此,分库键、分表键、主键、虚拟表名等在设计和存储时需要遵循规范,而zdal中的解析操作,也需要与之相匹配。
这个解析工作是相对复杂且繁重的,然而,针对同一用户的操作,通常库表的路由是相对固定的,因此,当我们解析过一次sql,通过各个字段和配置规则,计算出了库表路由,那么,可以直接put进线程上下文,供本次请求的后续数据库操作使用。
public Object parse(...){
SimpleCondition simpleCondition = new SimpleCondition();
simpleCondition.setVirtualTableName("user");
simpleCondition.put("age", 10);
ThreadLocalMap.put(ThreadLocalString.ROUTE_CONDITION, simpleCondition);
}
public void 后续操作(){
RouteCondition rc = (RouteCondition) ThreadLocalMap.get(ThreadLocalString.ROUTE_CONDITION);
if (rc != null) {
//不走解析SQL,由ThreadLocal传入的指定对象(RouteCondition),决定库表目的地
metaData = sqlDispatcher.getDBAndTables(rc);
} else {
// 通过解析SQL来分库分表
try {
metaData = sqlDispatcher.getDBAndTables(originalSql, parameters);
} catch (ZdalCheckedExcption e) {
throw new SQLException(e.getMessage());
}
}
}
这个也正好是对前面ThreadLocal正确使用方法的补充。
起因是对一篇文章叙述产生疑问,通过简单的验证,证实了自己的想法,然后又从几个方面对数据库连接和threadlocal进行了扩展,以上,大家如果发现有任何问题,欢迎留言帮忙指正和补充。
相关推荐
- 3分钟让你的项目支持AI问答模块,完全开源!
-
hello,大家好,我是徐小夕。之前和大家分享了很多可视化,零代码和前端工程化的最佳实践,今天继续分享一下最近开源的Next-Admin的最新更新。最近对这个项目做了一些优化,并集成了大家比较关注...
- 干货|程序员的副业挂,12个平台分享
-
1、D2adminD2Admin是一个完全开源免费的企业中后台产品前端集成方案,使用最新的前端技术栈,小于60kb的本地首屏js加载,已经做好大部分项目前期准备工作,并且带有大量示例代码,助...
- Github标星超200K,这10个可视化面板你知道几个
-
在Github上有很多开源免费的后台控制面板可以选择,但是哪些才是最好、最受欢迎的可视化控制面板呢?今天就和大家推荐Github上10个好看又流行的可视化面板:1.AdminLTEAdminLTE是...
- 开箱即用的炫酷中后台前端开源框架第二篇
-
#头条创作挑战赛#1、SoybeanAdmin(1)介绍:SoybeanAdmin是一个基于Vue3、Vite3、TypeScript、NaiveUI、Pinia和UnoCSS的清新优...
- 搭建React+AntDeign的开发环境和框架
-
搭建React+AntDeign的开发环境和框架随着前端技术的不断发展,React和AntDesign已经成为越来越多Web应用程序的首选开发框架。React是一个用于构建用户界面的JavaScrip...
- 基于.NET 5实现的开源通用权限管理平台
-
??大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码,装满你的收藏夹,每天分享一个小技巧,让你轻松节省开发效率,实现不加班不熬夜不掉头发,是我的目标!??今天小编推荐一款基于.NE...
- StreamPark - 大数据流计算引擎
-
使用Docker完成StreamPark的部署??1.基于h2和docker-compose进行StreamPark部署wgethttps://raw.githubusercontent.com/a...
- 教你使用UmiJS框架开发React
-
1、什么是Umi.js?umi,中文可发音为乌米,是一个可插拔的企业级react应用框架。你可以将它简单地理解为一个专注性能的类next.js前端框架,并通过约定、自动生成和解析代码等方式来辅助...
- 简单在线流程图工具在用例设计中的运用
-
敏捷模式下,测试团队的用例逐渐简化以适应快速的发版节奏,大家很早就开始运用思维导图工具比如xmind来编写测试方法、测试点。如今不少已经不少利用开源的思维导图组件(如百度脑图...)来构建测试测试...
- 【开源分享】神奇的大数据实时平台框架,让Flink&Spark开发更简单
-
这是一个神奇的框架,让Flink|Spark开发更简单,一站式大数据实时平台!他就是StreamX!什么是StreamX大数据技术如今发展的如火如荼,已经呈现百花齐放欣欣向荣的景象,实时处理流域...
- 聊聊规则引擎的调研及实现全过程
-
摘要本期主要以规则引擎业务实现为例,陈述在陌生业务前如何进行业务深入、调研、技术选型、设计及实现全过程分析,如果你对规则引擎不感冒、也可以从中了解一些抽象实现过程。诉求从硬件采集到的数据提供的形式多种...
- 【开源推荐】Diboot 2.0.5 发布,自动化开发助理
-
一、前言Diboot2.0.5版本已于近日发布,在此次发布中,我们新增了file-starter组件,完善了iam-starter组件,对core核心进行了相关优化,让devtools也支持对IAM...
- 微软推出Copilot Actions,使用人工智能自动执行重复性任务
-
IT之家11月19日消息,微软在今天举办的Ignite大会上宣布了一系列新功能,旨在进一步提升Microsoft365Copilot的智能化水平。其中最引人注目的是Copilot...
- Electron 使用Selenium和WebDriver
-
本节我们来学习如何在Electron下使用Selenium和WebDriver。SeleniumSelenium是ThoughtWorks提供的一个强大的基于浏览器的开源自动化测试工具...
- Quick 'n Easy Web Builder 11.1.0设计和构建功能齐全的网页的工具
-
一个实用而有效的应用程序,能够让您轻松构建、创建和设计个人的HTML网站。Quick'nEasyWebBuilder是一款全面且轻巧的软件,为用户提供了一种简单的方式来创建、编辑...
- 一周热门
- 最近发表
- 标签列表
-
- kubectlsetimage (56)
- mysqlinsertoverwrite (53)
- addcolumn (54)
- helmpackage (54)
- varchar最长多少 (61)
- 类型断言 (53)
- protoc安装 (56)
- jdk20安装教程 (60)
- rpm2cpio (52)
- 控制台打印 (63)
- 401unauthorized (51)
- vuexstore (68)
- druiddatasource (60)
- 企业微信开发文档 (51)
- rendertexture (51)
- speedphp (52)
- gitcommit-am (68)
- bashecho (64)
- str_to_date函数 (58)
- yum下载包及依赖到本地 (72)
- jstree中文api文档 (59)
- mvnw文件 (58)
- rancher安装 (63)
- nginx开机自启 (53)
- .netcore教程 (53)