當前位置：首頁 » 編程語言 » mysql導入sql文件過大
擴展閱讀
提分平台的賬號密碼是什麼 2023-08-31 22:07:10
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

mysql導入sql文件過大

發布時間: 2023-05-21 01:53:35

『壹』 mysql的sql文件導入有沒有文件大小限制

非root用戶運行MySQL，當MySQL配置比較高時，MySQL運行中生效的參數值與配置的值不一樣,所以具體分析一下MySQL是怎麼調整這些參數值的。
這篇文章的目的是為了說明在系統資源不夠的情況下，MySQL 是怎麼調整者三個參數的。說明此文涉及到三個參數open_files_limit、max_connections、table_open_cache。與這三個參數相關的系統資源是打開文件數限制，即文件描述符（fd）限制。系統參數與文件描述符的關系-max_connection&fd: 每一個MySQL connection 都需要一個文件描述符；
-table_open_cache&fd打開一張表至少需要一個 文件描述符，如打開MyISAM需要兩個fd；
- 系統最大打開文件數可以通過ulimit -n查看。MySQL調整參數的方式

  • 根據配置（三個參數的配置值或默認值）計算request_open_files（需要的文件描述符）；

  • 2.獲取有效的系統的限制值effective_open_files； 3.根據effective_open_files調整request_open_files； 4.根據調整後的request_open_files,計算實際生效的參數值（show variables可查看參數值）。計算request_open_filesrequest_open_files有三個計算公式：1. // 最大連接數+同時打開的表的最大數量+其他（各種日誌等等）2. limit_1= max_connections+table_cache_size * 2 + 10;3. 4. //假設平均每個連接打開的表的數量（2-4）5. //源碼中是這么寫的：6. //We are trying to allocate no less than7. // max_connections*5 file handles8. limit_2= max_connections * 5;9. 10. //mysql 默認的默認是500011. limit_3= open_files_limit ? open_files_limit : 5000;12. 13. 所以open_files_limit期待的最低14. request_open_files= max(limit_1,limit_2,limit_3);計算effective_open_files:MySQL 的思路：

  • 在有限值的的范圍內MySQL盡量將effective_open_files的值設大。
  • 修正request_open_files

    • requested_open_files= min(effective_open_files,request_open_files)

    重新計算參數值

  • 修正open_files_limit

  • open_files_limit=effective_open_files

  • 修正max_connections

  • max_connections根據request_open_files來做修正。1. limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN * 2;

  • 如果配置的max_connections值大於limit，則將max_connections的值修正為limit

  • 其他情況下max_connections保留配置值


  • 修正table_cache_size

  • table_cache_size會根據request_open_files來做修正1. // mysql table_cache_size 最小值，4002. limit1 = TABLE_OPEN_CACHE_MIN3. // 根據 requested_open_files 計算4. limit2 = (requested_open_files - 10 - max_connections) / 25. limit = max(limit1,limt2);

  • 如果配置的table_cache_size值大於limit，則將table_cache_size的值修正為limit

  • 其他情況下table_cache_size保留配置值


  • 舉例

  • 以下用例在非 root 用戶下運行

    • 參數設置：


  • //mysql

    • max_connections = 500

  • table_open_cache = 999

    • //ulimit -n

    1500

    生效的值：


  • open_files_limit = 1500 max_connections = min[(1500 - 10 - 800),500] = 500

    • table_open_cache = ( 1500 - 10 - 500) / 2 =495

『貳』 如何在mysql中導入/導出超大的sql文本文件

在mysql中導入/導出超大的sql文本文件,我們可以使用很多方法實例，如有:客戶端直接命令操作,分塊導入,客戶端用source命令操作等等。
在實際工作中，有時經常地時行mysql資料庫的導入和導入操作，但對於大型sql文件導入時，phpmyadmin是不行的，有太多限制，比如記錄，內存等!
在實際工作中，有時經常地時行mysql資料庫的導入和導入操作，但對於大型sql文件導入時，phpmyadmin是不行的，有太多限制，比如記錄，內存等！

比較好的辦法仍是用mysql的source命令：
一、在客戶端下操作：
1、進行入客戶端
2、mysql>use 資料庫名（如果沒有，先建一個）
3、mysql>set names 'utf8'; （一般看導入的是什麼格式的文件）
4、mysql>source d:\aaa.sql;
即可正常導入，如果有錯，可以看出錯提示

二、PHP文件操作：
建立a.php
裡面有下面內容
mysql_connet('xxxx');
mysql_query("set names 'utf8'");
mysql_query("source d:\aaa.sql'");

原理同上，主要方便了無法使用命令行用戶的操作

『叄』 求助！請問mysql如何快速導入超大的sql文件

向大家匯報進展：自己直接拷貝ibd文件覆蓋的方法不行，但是採用xtrabackup備份ibd來還原是可以的，這個軟體太牛了！我昨天是在同一台機器測試的，晚上測下不同機器的，但是操作系統相同。還有個問題，這個xtrabackup可以直接遷移資料庫，如果還能合並導入新的庫，而不覆蓋原有的庫就更完美了，當然，現在已經解決了很大的問題！感謝各位高手！分不多，謝謝大家！

『肆』 navicat for mysql 導入sql大文件報out of memory 錯誤，怎麼解決

解決的方案是這樣的：


內存不足，可以適當修改悉顫以下參數：（my.ini，my.cnf中的【mysqld】）


key_buffer_size =128M


table_cache =256


sort_buffer_size =2M


read_buffer_size =2M


read_rnd_buffer_size =2M


tmp_table_size=16M


innodb_buffer_pool_size = 128M


innodb_additional_mem_pool_size = 8M


innodb_log_buffer_size = 1M

『伍』 mysql 的sql文件太大怎麼導入

我有個大的 SQL 文件要回放，需要馬上做，但又怕壓死業務，怎麼辦？

先來建一個測試庫：

可以看到 CPU 已經非常冷靜，並且緩慢的處理數據。

💡小貼士：pv 工具既可以用於顯示文件流的進度，也可以用於文件流的限速。在本實驗中，我們用 PV 來限制 SQL 文件發到 MySQL client 的速度，從而限制 SQL 的回放速度，達到不影響其他業務的效果。

『陸』 sql文件太大，mysql導入報錯怎麼辦

拆分成幾段,分段執行,
不過一般的編輯器打不開太大的SQL文件,你可以網路一下SQL文件編輯器.

『柒』 mysql資料庫 文件過大 如何導入

  1. 點擊電腦『運行』，輸入cmd，然後點擊確定。

3.執行下列語句：

sqlcmd -S localhost -U sa -P pwzyy!@#123 -i C:.sql


說明：


-S：資料庫伺服器地址，我這里是本機直接用localhost

-U：用戶名

-P：密碼

-d：資料庫名

-i：sql文件

『捌』 如何在mysql中導入/導出超大的sql文本文件

在mysql中導入/導出超大的sql文本文件,我們可以使用很多方法實例，如有:客戶端直接命令操作,分塊導入,客戶端用source命令操作等等。
在實際工作中，有時經常地時行mysql資料庫的導入和導入操作，但對於大型sql文件導入時，phpmyadmin是不行的，有太多限制，比如記錄，內存等!

多種方案收集，如下：
方案一：客戶端直接命令操作(此方法是我比較喜歡的)

剛恢復一個電商網站mysql備份數據，此備份文件有300多M，因為phpmyadmin支持上傳有限，文件太大IE停止響應，所以在本地用

代碼如下
復制代碼

mysql -u root -p root jiahuibuydb<
c:/yebihai.sql

但沒導入進去，出來一大堆mysql的參數提示，不認輸入的命令參數，後來寫成下面這個樣子，就是去掉了參數和數據之間的空格

代碼如下
復制代碼

mysql -uroot -proot jiahuibuydb<
c:/yebihai.sql

導入就OK了

導出命令:

a)導出整個庫

mysqlmp -u 用戶名 -p 資料庫名 > 導出的文件名

代碼如下
復制代碼

mysqlmp -u root -p student
>d:/yebihai.sql

b)導出一個表

mysqlmp -u 用戶名 -p 資料庫名 表名> 導出的文件名

方案二：分塊導入

代碼如下
復制代碼

<?
//用來快速Mysql的大數據備份
//使用前請首先按照代碼注釋修改要導入的SQL文件名、資料庫主機名、資料庫用戶名、密碼、資料庫名
//同時將資料庫文件和本文本一起ftp導網站目錄，然後以web方式訪問此文件即可

$file_name="sql.sql"; //要導入的SQL文件名

$dbhost="localhost"; //資料庫主機名
$dbuser="user"; //資料庫用戶名

$dbpass="pass"; //資料庫密碼
$dbname="dbname";
//資料庫名

set_time_limit(0); //設置超時時間為0，表示一直執行。當php在safe
mode模式下無效，此時可能會導致導入超時，此時需要分段導入
$fp = @fopen($file_name, "r") or
die("不能打開SQL文件 $file_name");//打開文件
mysql_connect($dbhost, $dbuser,
$dbpass) or die("不能連接資料庫 $dbhost");//連接資料庫
mysql_select_db($dbname)
or die ("不能打開資料庫 $dbname");//打開資料庫
mysql_query('set names utf8');

echo "正在執行導入操作";
while($SQL=GetNextSQL()){
if
(!mysql_query($SQL)){
echo
"執行出錯www.111cn.net：".mysql_error()."
";
echo
"SQL語句為：
".$SQL."
";
};
}
echo
"導入完成";

fclose($fp) or die("Can』t close file $file_name");//關閉文件

mysql_close();

//從文件中逐條取SQL
function GetNextSQL() {

global $fp;
$sql="";
while ($line =
@fgets($fp, 40960)) {
$line =
trim($line);

//以下三句在高版本php中不需要，在部分低版本中也許需要修改
$line =
str_replace("////","//",$line);
$line =
str_replace("/』","』",$line);
$line =
str_replace("//r//n",chr(13).chr(10),$line);
// $line
= stripcslashes($line);
if (strlen($line)>1)
{
if ($line[0]=="-" && $line[1]=="-")
{

continue;
}

}

$sql.=$line.chr(13).chr(10);
if
(strlen($line)>0){
if
($line[strlen($line)-1]==";"){

break;
}

}
}
return $sql;

}
?>

方案三：客戶端用source命令操作

比較好的辦法仍是用mysql的source命令：

一、在客戶端下操作：

1、進行入客戶端 代碼如下
復制代碼

2、mysql>use 資料庫名(如果沒有，先建一個)

3、mysql>set names 'utf8'; (一般看導入的是什麼格式的文件)

4、mysql>source d:/aaa.sql;

即可正常導入，如果有錯，可以看出錯提示

二、PHP文件操作：

建立a.php

裡面有下面內容 代碼如下
復制代碼

mysql_connet('xxxx');

mysql_query("set names 'utf8'");

mysql_query("source d:/aaa.sql'");

原理同上，主要方便了無法使用命令行用戶的操作

方案四：下面教大家一個簡單有效的辦法，適合不會使用命令窗口的非技術人員，可以導入任意大小的mysql資料庫，理論上不論您的資料庫備份文件多大，都可以導入

方法如下：

1.將資料庫備份文件(如backup.sql)上傳至網站根目錄。

2.將以下代碼保存為mysql.php文件，上傳至網站根目錄。

代碼如下
復制代碼

system("mysql -hdbhost -udbuser -ppassword dbname < backup.sql");

print "導入成功";

其中

dbhost 改為您的資料庫伺服器地址(小提示:一般主機默認資料庫伺服器地址是:localhost)

dbuser 改為您的資料庫用戶名

password 改為您的資料庫用戶密碼

dbname 改為您的資料庫名(導入的時候此庫必須先建立好，否則會失敗並且不會進行任何提示)

backup.sql表示通過ftp上傳到網站根目錄下資料庫文件的文件名(該文件是解壓縮後的文件)

3.在瀏覽器裡面訪問mysql.php， 那麼就在瀏覽器裡面輸入/mysql.php，只要瀏覽器一訪問這個mysql.php文件，數據就開始導入，數據導入結束後，就會顯示「導入成功」的字樣。這個時間根據您要導入的數據大小決定，一般時間很短

『玖』 如何在mysql中導入/導出超大的sql文本文件

在實際工作中，有時需要導入大容量sql文件到MySQL，通常有以下三種方法：
（1）通過phpmyadmin，不推薦，有內存等的限制；
（2）通過Navicat Premium工具運行sql，不推薦，效率低；
（3）通過source命令導入，推薦，效率高，經測試，小編導入一個3.02G的文件耗時3分08秒；
下面，小編將整個過程進行重現，希望對大家有幫助。
https://jingyan..com/article/295430f1ef89ab0c7f00505a.html

閱讀全文

與mysql導入sql文件過大相關的內容

本站內容整理源於互聯網，如有問題請聯系解決。
Copyright design: www.gotrillian.com since 2022