目錄
- 一、前言
- 二、JDBC實現流式查詢
- 三、性能測試
- 3.1. 測試大數據量普通查詢
- 3.2. 測試大數據量流式查詢
- 3.3. 測試小數據量普通查詢
- 3.4. 測試小數據量流式查詢
- 四、總結
一、前言
程序訪問MySQL數據庫時，當查詢出來的數據量特別大時，數據庫驅動把加載到的數據全部加載到內存里，就有可能會導致內存溢出（OOM）。
其實在MySQL數據庫中提供了流式查詢，允許把符合條件的數據分批一部分一部分地加載到內存中，可以有效避免OOM；本文主要介紹如何使用流式查詢并對比普通查詢進行性能測試。
二、JDBC實現流式查詢
使用JDBC的PreparedStatement/Statement的setFetchSize方法設置為Integer.MIN_VALUE或者使用方法Statement.enableStreamingResults()可以實現流式查詢，在執(zhí)行ResultSet.next()方法時，會通過數據庫連接一條一條的返回，這樣也不會大量占用客戶端的內存。
public int execute(String sql, boolean isStreamQuery) throws SQLException {
Connection conn = null;
PreparedStatement stmt = null;
ResultSet rs = null;
int count = 0;
try {
//獲取數據庫連接
conn = getConnection();
if (isStreamQuery) {
//設置流式查詢參數
stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);
} else {
//普通查詢
stmt = conn.prepareStatement(sql);
}
//執(zhí)行查詢獲取結果
rs = stmt.executeQuery();
//遍歷結果
while(rs.next()){
System.out.println(rs.getString(1));
count++;
}
} catch (SQLException e) {
e.printStackTrace();
} finally {
close(stmt, rs, conn);
}
return count;
}
「PS」：上面的例子中通過參數isStreamQuery來切換「流式查詢」與「普通查詢」，用于下面做測試對比。
三、性能測試
創(chuàng)建了一張測試表my_test進行測試，總數據量為27w條，分別使用以下4個測試用例進行測試：
- 大數據量普通查詢(27w條)
- 大數據量流式查詢(27w條)
- 小數據量普通查詢(10條)
- 小數據量流式查詢(10條)
3.1. 測試大數據量普通查詢
@Test
public void testCommonBigData() throws SQLException {
String sql = "select * from my_test";
testExecute(sql, false);
}
3.1.1. 查詢耗時
27w 數據量用時 38 秒
3.1.2. 內存占用情況
使用將近 1G 內存
3.2. 測試大數據量流式查詢
@Test
public void testStreamBigData() throws SQLException {
String sql = "select * from my_test";
testExecute(sql, true);
}
3.2.1. 查詢耗時
27w 數據量用時 37 秒
3.2.2. 內存占用情況
由于是分批獲取，所以內存在30-270m波動
3.3. 測試小數據量普通查詢
@Test
public void testCommonSmallData() throws SQLException {
String sql = "select * from my_test limit 100000, 10";
testExecute(sql, false);
}
3.3.1. 查詢耗時
10 條數據量用時 1 秒
3.4. 測試小數據量流式查詢
@Test
public void testStreamSmallData() throws SQLException {
String sql = "select * from my_test limit 100000, 10";
testExecute(sql, true);
}
3.4.1. 查詢耗時
10 條數據量用時 1 秒
四、總結
MySQL 流式查詢對于內存占用方面的優(yōu)化還是比較明顯的，但是對于查詢速度的影響較小，主要用于解決大數據量查詢時的內存占用多的場景。
「DEMO地址」：https://github.com/zlt2000/mysql-stream-query
到此這篇關于MySQL中使用流式查詢避免數據OOM的文章就介紹到這了,更多相關MySQL 流式查詢內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- MySQL OOM（內存溢出）的解決思路
- MySQL Slave 觸發(fā) oom-killer解決方法
- MySQL OOM 系列三 擺脫MySQL被Kill的厄運
- MySQL OOM 系統(tǒng)二 OOM Killer
- MySQL OOM 系列一 Linux內存分配
