作者今天在開發一個后臺發送消息的功能時,由于需要給多個用戶發送消息,于是使用了 mybatis plus 提供的 saveBatch() 方法,在測試環境測試通過上預發布后,測試反應發送消息接口很慢得等 5、6 秒,于是我就登錄線上環境查看執行日志,發現是 mybatis plus 提供的 saveBatch() 方法執行很慢導致,于是也就有了本篇文章。
mybatis plus 是一個流行的 ORM 框架,它基于 mybatis,提供了很多便利的功能,比如代碼生成器、通用 CRUD、分頁插件、樂觀鎖插件等。它可以讓我們更方便地操作數據庫,減少重復的代碼,提高開發效率。
/** * 先保存通知消息,在批量保存用戶通知記錄 */@Transactional(rollbackFor = Exception.class)@Overridepublic boolean saveNotice(Notify notify, String receiveUserIds) { long begin = System.currentTimeMillis(); notify.setCreateTime(new Date()); notify.setCreateBy(ShiroUtil.getSessionUid()); if (notify.getPublishTime() == null) { notify.setPublishTime(new Date()); } boolean insert = save(notify); List<NotifyRecord> collect = new ArrayList<>(); List<String> receiveUserList = fillNotifyRecordList(notify, receiveUserIds, collect); notifyRecordService.saveBatch(collect); long end = System.currentTimeMillis(); System.out.println(end - begin); ... return insert;}/** * 根據用戶id,組裝用戶通知記錄集合,返回200條記錄 */public List<String> fillNotifyRecordList(Notify notify, String receiveUserIds, List<NotifyRecord> collect) { List<String> noticeRecordList = new ArrayList<>(200); ... // 組將兩百條用戶通知記錄 return noticeRecordList;}
如上代碼,我有一個 saveNotice() 方法用于保存通知消息以及用戶通知記錄。執行邏輯如下,
前兩步驟耗時都很少,我們直接看第三步操作耗時,結合 sql 執行日志,如下,
-- slow sql 5542 millis. INSERT INTO oa_notify_record ( notifyId, receiveUserId, receiveUserName, isRead, createTime ) VALUES ( ?, ?, ?, ?, ? )[225,"fcd90fe3990e505d07c90a238f75e9c1","niuwawa",false,"2023-10-30 23:54:04"]5681
再結合 mybatis free log 插件打印完整 sql 如下圖,
圖片
可以看出,我們批量保存用戶通知記錄是一條記錄一條進行保存得,已經可以猜測就是批量插入方法導致得耗時較高。
這里使用得是 mybatis log free 插件,它可以自動幫我們在控制臺打印完整得 mybatis sql 語句。有需要可以在 idea 插件中心搜索 mybatis log free 下載安裝。
結合 saveBatch() 底層源碼也能夠看出,mybatis plus 對于批量操作是通過 for 循環執行保存操作得,源碼如下圖,
圖片
到這里我們也就知道了在測試環境執行較快得原因,因為在測試環境需要批量保存得用戶通知記錄比較少,只有幾條記錄,所以很快。但是上預發布后,由于預發布中需要批量保存得用戶通知記錄比較多達到了數百條,所以執行較慢,耗時達到了 5、6 秒之久。
到這里,也就是本文得重點所在了,那怎么解決這個問題嘞?如何既利用 mybatis plus 提供得便攜性,也能夠解決批量操作耗時較高得問題。
其實解決方法很簡單,只需要在 jdbcurl 上添加 rewriteBatchedStatements=true 參數即可解決這個問題。
MySQL 的 JDBC 連接的 url 中要加 rewriteBatchedStatements 參數,并保證 5.1.13 以上版本的驅動,才能實現高性能的批量插入。
MySQL JDBC 驅動在默認情況下會無視 executeBatch()語句,把我們期望批量執行的一組 sql 語句拆散,一條一條地發給 MySQL 數據庫,批量插入實際上是單條插入,直接造成較低的性能。只有把 rewriteBatchedStatements 參數置為 true, 驅動才會幫你批量執行 SQL。另外這個選項對 INSERT/UPDATE/DELETE 都有效。
rewriteBatchedStatements=true 的意思是,當你在 Java 程序中使用批量插入/修改/刪除(batching)時,MySQL JDBC 驅動程序將嘗試重新編寫(rewrite)你的 SQL 語句,以便更有效地執行這些批量插入操作。
OK,在我們給 jdbcurl 上添加了參數后,看看效果,如下圖,
圖片
可以看到 jdbcurl 添加了 rewriteBatchedStatements=true 參數后,批量操作的執行耗時已經只有 200 毫秒,自此也就解決了 mybatis plus 提供的 saveBatch() 方法執行耗時較高得問題。
mybatis plus 給開發人員帶來了很多便利,但是其中也有一些坑點,比如上文所提到得批量操作耗時問題,如果不注意的話,就有可能調入坑里,各位開發同學可以檢查自己或者公司項目中 jdbcurl 是否缺失 rewriteBatchedStatements=true 參數,加以改正,避免重復掉入這個坑里。
本文鏈接:http://www.tebozhan.com/showinfo-26-16014-0.htmlMybatis-Plus很好,但是我被它坑了!
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 數據結構分類以及數據結構特點、優缺點