技术标签: 实战问题解决 java mybatis Mybatis 开发语言
没有看过前文的朋友,可以先去看看上次在笔者笔记本上做的尝试:MyBatis痛点验证,使用 foreach 批量插入慢?
上次做的验证,因为无法复现生产场景,最终失败,这次我们来看后续进一步的验证与排查
我把上次在笔记本上的动态sql,移植到我们的工程代码里,放在一个普通查询接口里,进行usertest表的数据插入。而且一个方法内重复插好几次。
大家知道上次,我们的基准测试,一个对象的插入大约8ms
而同样插入一个对象,在工程里跑,大约需要 256ms !!
当我不知死活的尝试插入2000条数据时,耗时直接到达270s,整整四分半!!
代码如下:
@Component
@Intercepts({
@Signature(
type = ParameterHandler.class,
method = "setParameters",
args = {
PreparedStatement.class }) ,
@Signature(
type = StatementHandler.class,
method = "prepare",
args = {
Connection.class ,Integer.class}),
@Signature(
type = StatementHandler.class,
method = "update",
args = {
Statement.class}),
@Signature(
type = Executor.class,
method = "update",
args = {
MappedStatement.class ,Object.class}) ,})
@Slf4j
public class ParameterPlugin implements Interceptor {
@Override
public Object intercept(Invocation invocation) throws Throwable {
long start = System.currentTimeMillis();
String parameterHandlerName = invocation.getTarget().getClass().getName();
String statementName = invocation.getArgs()[0].getClass().getName();
String methodName = invocation.getMethod().getName();
Object returnVal = invocation.proceed();
long end = System.currentTimeMillis();
if ("prepare".equals(methodName)) {
log.info("StatementHandler.prepare耗时: " + (end - start) + ", 其中start =" + start + ", end =" + end);
}
if ("setParameters".equals(methodName)) {
log.info("参数装填时间" + (end - start) + ", 参数处理器类型为: " + parameterHandlerName + " ,statement类型为" + statementName
+ ", 其中start =" + start + ", end =" + end);
}
if ("update".equals(methodName)) {
log.info("update耗时: " + (end - start) + ", 其中start =" + start + ", end =" + end);
}
return returnVal;
}
}
上述的plugin 可以同时截取到几大组件的核心方法耗时,然后运行程序,反复以100为长度,进行耗时占比分析
我原先预期,可能是参数填充的问题,但通过结果看,100*26=2600 个字段的填充耗时在10ms上下,这肯定是没问题的。耗时的大头是两个update方法,因为Executor的update是包含StatementHandler的update的,所以我们找到了耗时的最终方法,即StatementHandler的update.
因为这是动态sql,所以最后是由 PreparedStatementHandler 来处理的,我们关注一下该方法
@Override
public int update(Statement statement) throws SQLException {
PreparedStatement ps = (PreparedStatement) statement;
ps.execute();
int rows = ps.getUpdateCount();
Object parameterObject = boundSql.getParameterObject();
KeyGenerator keyGenerator = mappedStatement.getKeyGenerator();
keyGenerator.processAfter(executor, mappedStatement, ps, parameterObject);
return rows;
}
既然已经确定了是在PreparedStatementHandler.update()里导致耗时太高的,那我们就想办法把日志打进去
先把plugin稍作改造,自定义个update,内容照抄,然后加点日志。
@Intercepts({
@Signature(
type = ParameterHandler.class,
method = "setParameters",
args = {
PreparedStatement.class }) ,
@Signature(
type = StatementHandler.class,
method = "prepare",
args = {
Connection.class ,Integer.class}),
@Signature(
type = StatementHandler.class,
method = "update",
args = {
Statement.class})})
@Slf4j
public class ParameterPlugin implements Interceptor {
@Override
public Object intercept(Invocation invocation) throws Throwable {
String methodName = invocation.getMethod().getName();
if ("update".equals(methodName)) {
long time1 = System.currentTimeMillis();
PreparedStatement ps = (PreparedStatement) invocation.getArgs()[0];
long time2 = System.currentTimeMillis();
if (ps instanceof Proxy) {
InvocationHandler invocationHandler = Proxy.getInvocationHandler(ps);
log.info("invocationHandler = " + invocationHandler.getClass().getName());
if (invocationHandler instanceof PreparedStatementLogger) {
PreparedStatementLogger lo = (PreparedStatementLogger)invocationHandler;
PreparedStatement preparedStatement = lo.getPreparedStatement();
log.info("preparedStatement = " + preparedStatement.getClass().getName());
if (preparedStatement instanceof HikariProxyPreparedStatement) {
log.info("now in HikariProxyPreparedStatement");
}
}
}
ps.execute();
long time3 = System.currentTimeMillis();
int rows = ps.getUpdateCount();
long time4 = System.currentTimeMillis();
log.info("自定义update开始: time2-time1=" + (time2-time1) + ", time3-time2=" + (time3-time2) + ", time4-time3="+ (time4-time3));
return rows;
}
long start = System.currentTimeMillis();
String parameterHandlerName = invocation.getTarget().getClass().getName();
String statementName = invocation.getArgs()[0].getClass().getName();
Object returnVal = invocation.proceed();
long end = System.currentTimeMillis();
if ("prepare".equals(methodName)) {
log.info("StatementHandler.prepare耗时: " + (end - start) + ", 其中start =" + start + ", end =" + end);
}
if ("setParameters".equals(methodName)) {
log.info("参数装填时间" + (end - start) + ", 参数处理器类型为: " + parameterHandlerName + " ,statement类型为" + statementName
+ ", 其中start =" + start + ", end =" + end);
}
return returnVal;
}
}
然后在笔记本和开发工程上都进行100条数据的插入
从而进一步缩小范围,demo中用到了Hikari作为线程池,但项目上用的却是 Druid ?这其实有点奇怪,因为项目和demo使用的都是 springboot 2.5.x,按理来说,默认使用的都是Hikari。因此接下来的任务就是指定配置,使得项目可以使用Hikari 而非 Druid 。
现在终于告一段落了,至于Druid 为什么会这么慢,还是有隐藏的设置导致的,后面还会继续追查,更新在这里。但无论如何,至少也证明了罪责不在mybatis上,mybatis的运行还是十分快的,2000行*26字段的数据,参数填充仅需119ms,符合纯计算的速度
另外,在测试过程中,发现mybatis的日志输出影响也很可观,如果有必要,关闭日志输出也能有不小的效率提升
PS: 再次追查该问题,使用Arthas ,目前定位jdbc驱动发送执行语句sendCommand耗时很长,单条插入语句达到300ms,然后单看发送本身没问题,反而是收到执行结果后,后面的checkErrorMessage耗时太长
com.mysql.cj.protocol.a.NativeProtocol.readMessage()
文章浏览阅读1.1k次。一、选择题1. 串行接口是指( )。A. 接口与系统总线之间串行传送,接口与I/0设备之间串行传送B. 接口与系统总线之间串行传送,接口与1/0设备之间并行传送C. 接口与系统总线之间并行传送,接口与I/0设备之间串行传送D. 接口与系统总线之间并行传送,接口与I/0设备之间并行传送【答案】C2. 最容易造成很多小碎片的可变分区分配算法是( )。A. 首次适应算法B. 最佳适应算法..._874 计算机科学专业基础综合题型
文章浏览阅读9.7k次,点赞5次,收藏15次。连接xshell失败,报错如下图,怎么解决呢。1、通过ps -e|grep ssh命令判断是否安装ssh服务2、如果只有客户端安装了,服务器没有安装,则需要安装ssh服务器,命令:apt-get install openssh-server3、安装成功之后,启动ssh服务,命令:/etc/init.d/ssh start4、通过ps -e|grep ssh命令再次判断是否正确启动..._could not connect to '192.168.17.128' (port 22): connection failed.
文章浏览阅读209次。00000000_杰理 空白芯片 烧入key文件
文章浏览阅读475次。2023年初,“ChatGPT”一词在社交媒体上引起了热议,人们纷纷探讨它的本质和对社会的影响。就连央视新闻也对此进行了报道。作为新传专业的前沿人士,我们当然不能忽视这一热点。本文将全面解析ChatGPT,打开“技术黑箱”,探讨它对新闻与传播领域的影响。_引发对chatgpt兴趣的表述
文章浏览阅读259次。用Python数据分析方法进行汉字声调频率统计分析木合塔尔·沙地克;布合力齐姑丽·瓦斯力【期刊名称】《电脑知识与技术》【年(卷),期】2017(013)035【摘要】该文首先用Python程序,自动获取基本汉字字符集中的所有汉字,然后用汉字拼音转换工具pypinyin把所有汉字转换成拼音,最后根据所有汉字的拼音声调,统计并可视化拼音声调的占比.【总页数】2页(13-14)【关键词】数据分析;数据可..._汉字声调频率统计
文章浏览阅读64次。最近在做一个android系统移植的项目,所使用的开发板com1是调试串口,就是说会有uboot和kernel的调试信息打印在com1上(ttySAC0)。因为后期要使用ttySAC0作为上层应用通信串口,所以要把所有的调试信息都给去掉。参考网上的几篇文章,自己做了如下修改,终于把调试信息重定向到ttySAC1上了,在这做下记录。参考文章有:http://blog.csdn.net/longt..._嵌入式rootfs 输出重定向到/dev/console
文章浏览阅读1.2k次,点赞4次,收藏12次。1,先去iconfont登录,然后选择图标加入购物车 2,点击又上角车车添加进入项目我的项目中就会出现选择的图标 3,点击下载至本地,然后解压文件夹,然后切换到uniapp打开终端运行注:要保证自己电脑有安装node(没有安装node可以去官网下载Node.js 中文网)npm i -g iconfont-tools(mac用户失败的话在前面加个sudo,password就是自己的开机密码吧)4,终端切换到上面解压的文件夹里面,运行iconfont-tools 这些可以默认也可以自己命名(我是自己命名的_uniapp symbol图标
文章浏览阅读1.2w次,点赞25次,收藏192次。char*和char[]都是指针,指向第一个字符所在的地址,但char*是常量的指针,char[]是指针的常量_c++ char*
文章浏览阅读930次。代码编辑器或者文本编辑器,对于程序员来说,就像剑与战士一样,谁都想拥有一把可以随心驾驭且锋利无比的宝剑,而每一位程序员,同样会去追求最适合自己的强大、灵活的编辑器,相信你和我一样,都不会例外。我用过的编辑器不少,真不少~ 但却没有哪款让我特别心仪的,直到我遇到了 Sublime Text 2 !如果说“神器”是我能给予一款软件最高的评价,那么我很乐意为它封上这么一个称号。它小巧绿色且速度非
文章浏览阅读4.1k次。一、选择法这是每一个数出来跟后面所有的进行比较。2.冒泡排序法,是两个相邻的进行对比。_对十个数进行大小排序java
文章浏览阅读2.9k次。物联网开发笔记——使用网络调试助手连接阿里云物联网平台(基于MQTT协议)其实作者本意是使用4G模块来实现与阿里云物联网平台的连接过程,但是由于自己用的4G模块自身的限制,使得阿里云连接总是无法建立,已经联系客服返厂检修了,于是我在此使用网络调试助手来演示如何与阿里云物联网平台建立连接。一.准备工作1.MQTT协议说明文档(3.1.1版本)2.网络调试助手(可使用域名与服务器建立连接)PS:与阿里云建立连解释,最好使用域名来完成连接过程,而不是使用IP号。这里我跟阿里云的售后工程师咨询过,表示对应_网络调试助手连接阿里云连不上
文章浏览阅读544次,点赞5次,收藏6次。运算符与表达式任何高级程序设计语言中,表达式都是最基本的组成部分,可以说C++中的大部分语句都是由表达式构成的。_无c语言基础c++期末速成