背景
这几天在做数据自动化同步测试过程,发现一个诡异的现象。一批100条语句的更新过程中,同步到目标库去执行,总会有几条记录出现更新失败。
原因
1. 查看了同步过程中的执行日志,也米有啥特别明显的问题,单就是update affect = 0 。
2. 问题的查找方式也是比较简单,针对底层执行的update语句,挨个字段确认,到底是哪一个字段影响了记录的定位。 最后发现是一个Decimal(19,8)的字段类型。
3. debug跟踪了下对应的mysql driver代码,发现针对setBigDecimal类型数据处理时,多了个单引号,字段内容就变成了 '1234.12312'. 测试过程中手工去除引号,就可以正常的update.
测试
1.创建表
mysql> create table ljhtable2 ( ID int(11) auto_increment , NUMBER_VALUES decimal(19,8) , CONSTRAINT ljhtable2_pk PRIMARY KEY(id) );
2. 插入记录
mysql> insert into ljhtable2 values(1, 4005747665.56665202);
查询
mysql> select * from ljhtable2 ;
+----+---------------------+
| ID | NUMBER_VALUES |
+----+---------------------+
| 1 | 4005747665.56665202 |
+----+---------------------+
1 row in set (0.00 sec)
mysql> select * from ljhtable2 where number_values = '4005747665.56665202'; #加了引号就无法查询到
Empty set (0.00 sec)
mysql> select * from ljhtable2 where number_values = 4005747665.56665202;
+----+---------------------+
| ID | NUMBER_VALUES |
+----+---------------------+
| 1 | 4005747665.56665202 |
+----+---------------------+
1 row in set (0.00 sec)
深度分析
1. 资讯了下公司的资深的mysql DBA,针对加引号的处理,目前mysql的版本存在一些bug,我们使用的mysql 版本(5.1.41),所以只能通过mysql driver层面进行修复。
2. mysql driver我们使用了server-side preparestatment + batch处理,问题就出在这里 (参数介绍: mysql几个参数(编码,预编译,批处理) )
这是我们使用的mysql driver参数
dbcpDs.addConnectionProperty("useServerPrepStmts", "true");
dbcpDs.addConnectionProperty("rewriteBatchedStatements", "true");
对应server-side的prepare实现类:ServerPreparedStatement .
通过debug分析,在ServerPreparedStatement.toString()过程中针对Decimal类型,添加了引号,在跟踪了execute发送给mysql的数据包都是使用了writeLenString进行处理,不过看了下针对int,long,float类型也没有明确的类型标识,估计是在mysql server端进行类型转换处理,刚好类型转换又有些bug,就触发了上面的问题。
发送数据包的格式代码:ServerPreparedStatement.storeBinding()
解决
去掉上面的两项配置定义,使用mysql的client-side模式进行处理,由客户端拼装好sql,直接到mysql上进行执行。针对client-side的batch的一些优化处理,可以参见PreparedStatement.executePreparedBatchAsMultiStatement方法
考虑
目前mysql driver默认的都是基于client-side模式进行处理,可参见mysql driver changelog: http://dev.mysql.com/doc/refman/5.1/en/cj-news-5-0-5.html
5.0.5的版本里提到:
Due to a number of issues with the use of server-side prepared statements, Connector/J 5.0.5 has disabled their use by default. The disabling of server-side prepared statements does not affect the operation of the connector in any way
client-side和server-side的性能差别:
1. server-side需要和服务端的2次网络交互,一次进行prepare statement的构建过程,一次发送具体的bind数据。服务端可以缓存对应的prepare statement内容
2. client-side只需要一次和服务端的网络交互,但每次的sql都需要在服务端进行parse
所以针对server-side模式,如果不在jdbc客户端层面开启prepare statement cache,性能还不如client-side模式。而dbcp开启prepare statement cache,可能又会引发另外的问题: statement异常关闭。 在之前的dbcp测试过程中遇到过,后来就关闭了dbcp的prepare statement cache.
分享到:
相关推荐
在动态拼接字符串时,我们常会用到字符拼接,我对拼接的引号不理解,如: 1、”’+ id +”’ 为什么是3个引号,为什么左边一个加号右边一个加号(能不能着重帮我解释下这个,详细点) SQL code sum(case Leave when...
今天小编就为大家分享一篇解决python3插入mysql时内容带有引号的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
Mysql 与 java 的时间类型 MySql的时间类型有 Java中与之对应的时间类型 datejava.sql.Date Datetimejava.sql
mysql数据类型转换
Java数据类型和MySql数据类型对应一览
MySQL索引类型大汇总 mysql里需要用到了
刚开始使用python,还不太熟练,遇到一个datetime数据类型的问题: 在mysql数据库中,有一个datetime类型的字段用于存储记录的日期时间值。python程序中有对应的一个datetime变量dt。 现在需要往mysql数据库中添加...
mysql中插入多text类型问题,可以让mysql数据库插入多个大存储类型
JSP向MYSQL插入单引号内容出错的解决方法.pdf
Mysql中常用的类型转换函数和用法。让Mysql操作简单化
描述MySQL数据类型包括不同类型的区间范围
MySQL字段类型说明 MySQL字段类型说明
(\'%s\', \'%s\', \'%s\', \'%s\') % (result, result2, phoneNumber, Email) cur.execute(sql_str) 执行程序后,产生错误: ProgrammingError: (1064, “You have an error in your SQL syntax; check the m
mysql用触发器实现char类型主键自增长
Java数据类型和MySql数据类型对应表
MySQL数据类型简介
使用sqoop2从mysql导入hadoop时,导入的数据带单引号。是由于sqoop2的一个bug导致,该包上传到sqoop_home/server/lib替换原来的jar包后,重启sqoop server,即可解决。
Mysql字段类型说明
Mysql5中所有的字段类型稍微整理了一下。 仅供参考。