當前位置:首頁 » 數據倉庫 » 資料庫太大怎麼導入
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

資料庫太大怎麼導入

發布時間: 2022-04-14 00:39:00

1. mysql 的sql文件太大怎麼導入

我有個大的 SQL 文件要回放,需要馬上做,但又怕壓死業務,怎麼辦?

先來建一個測試庫:

可以看到 CPU 已經非常冷靜,並且緩慢的處理數據。

💡小貼士:pv 工具既可以用於顯示文件流的進度,也可以用於文件流的限速。在本實驗中,我們用 PV 來限制 SQL 文件發到 MySQL client 的速度,從而限制 SQL 的回放速度,達到不影響其他業務的效果。

2. 導入資料庫文件太大怎麼辦max

解決方法如下:
(1)修改php.ini適用自己有伺服器的人
大多數都修改php.ini中的upload_max_filesize,但修改了這個以後,還是提示這個問題;
那麼更改如下幾處:
修改 PHP.ini

file_uploads on 是否允許通過HTTP上傳文件的開關。默認為ON即是開
upload_tmp_dir 文件上傳至伺服器上存儲臨時文件的地方,如果沒指定就會用系統默認的臨時文件夾
upload_max_filesize 20m 望文生意,即允許上傳文件大小的最大值。默認為2M
post_max_size 30m 指通過表單POST給PHP的所能接收的最大值,包括表單里的所有值。默認為8M
說明
一般地,設置好上述四個參數後,在網路正常的情況下,上傳<=8M的文件是不成問題
但如果要上傳>8M的大體積文件,只設置上述四項還一定能行的通。除非你的網路真有100M/S的上傳高速,否則你還得繼續設置下面的參數。
max_execution_time 300 每個PHP頁面運行的最大時間值(秒),默認30秒
max_input_time 300 每個PHP頁面接收數據所需的最大時間,默認60秒
memory_limit 128m 每個PHP頁面所吃掉的最大內存,默認8M

設定 POST 數據所允許的最大大小。此設定也影響到文件上傳。要上傳大文件,該值必須大於 upload_max_filesize。

如果配置腳本中激活了內存限制,memory_limit 也會影響文件上傳。通常說,memory_limit 應該比 post_max_size 要大。

(2)這個方法很簡單,不需要修改php.ini參數, 適用把站放在虛擬主機的人。
打開phpMyAdmin目錄下的配置文件:config.inc.php
請注意其中的這兩個參數:
$cfg['UploadDir'] = 『A『;
$cfg['SaveDir'] = 『B『;
在phpMyAdmin目錄下自行建立文件夾A和B來對應UploadDir(導入目錄)和SaveDir(導出目錄)。
導出操作:
1、登陸phpMyAdmin
2、在左側選中你需要備份導出的資料庫
3、在右側窗口中找到「導出」
4、在右側窗口底部選擇「保存於伺服器的 B/ 目錄」
5、選擇壓縮模式,提交「執行」即可在B文件夾中找到該資料庫的導出數據。
導入操作:
1、上傳准備導入的數據文件到A目錄
2、登陸phpMyAdmin
3、在左側選中你需要備份導出的資料庫
4、在右側窗口中找到「Import」(導出)
5、在右側窗口「網站伺服器上載目錄」中選擇需要導入的數據文件,提交「執行」完成導入

3. 怎麼快速導入一個超大的mysql文件

1、首先已管理員身份(通過win+r)進入命令提示符
2、先進入MYSQL安裝目錄,以我的為例:d:/wamp/bin/mysql/mysql5.5.20/bin 進入該目錄的bin目錄下,該目錄下有個mysql.exe 文件
mysql 導入超大文件到資料庫 - queen - 安然
3、為了保證一次性通過,可以先測試一下資料庫的是否連接成功 mysql -u root -p (資料庫有密碼的寫上密碼);再測試一下訪問的資料庫是否能訪問 mysql -u root -p (資料庫有密碼的寫上密碼) craft(這個就是資料庫的名稱);我第二次導入時遇到一個問題,就是我測試資料庫連接成功後,直接又測試資料庫是否能夠訪問,出現錯誤
mysql 導入超大文件到資料庫 - queen - 安然
我檢查了一遍命令沒發現錯誤啊,沒辦法了,問我領導,人家三下五除二就搞定了,問了才知道,所有的命令都應該在
mysql 導入超大文件到資料庫 - queen - 安然
下執行,包括測試資料庫是否連接成功,資料庫是否能訪問和最後的資料庫導入,我的錯誤就是在檢查了資料庫是否連接成功後就進入mysql里,沒有退出來。好吧,又記了一遍。

4、如果上面的操作沒有問題,下一步就進行數據導入操作
mysql -u root -p (資料庫有密碼的寫上密碼) craft < d:/craft.sql
導入過程可能會由於其他原因導致錯誤,我遇到的是在導入過程中可能由於編碼的原因出現錯誤,所以,可以再加上點內容 mysql -u root -p --default-character-set=utf8 craft < d:/craft.sql,敲回車後,出現輸入密碼提示,如果資料庫設置密碼,就可以輸入密碼後再打回車,直到導入操作完成
mysql 導入超大文件到資料庫 - queen - 安然
注意:這樣就完成了導入,不過中間還可能出現的問題就是要導入文件的許可權問題,要保證你所登錄的身份有對文件的寫操作,所以為了防止萬一,我們可以將文件的所有許可權都打開:選中文件,點右鍵,選擇屬性,選「安全」選項卡,選中你登錄的角色,點「編輯」,選中「允許」下面的「完全控制」,點擊確定。

4. 萬網 如果資料庫太大該怎麼導入呢

mysql資料庫的導入方式比較簡單,您可以先在您本地的資料庫生成一個.sql後綴的腳本,之後登陸控制面板,進入您的資料庫後台,直接瀏覽您本地的腳本文件,執行後,您的資料庫即可導入,但是由於資料庫的限制,腳本文件不能大於2M,如果您的腳本文件大於2M,請您在本地拆分一下執行即可。

可免費試用,萬網M3型空間:獨立IP,多線機房,300M空間,50MSQL,支持ASP、NET或PHP,FTP管理,免費提供備案平台服務。
國際頂級英文域名:60元(續費65元)
可咨詢我們在線客服,他會一步一步教您操作。我們已為25000多家用戶提供了6年多優秀服務,更專業,更穩定。聯系方式請點擊我的用戶名——用戶資料。

5. 如何解決大量數據導入到資料庫

針對你說的第二個問題:追加導入和更新導入,其實這就是一種方法的兩個方面,若是資料庫里沒有數據,則追加,否則更新;這里提醒一下:注意鎖定表
第三個問題:數十萬級為單位是指百萬還是千萬數據?數據量大的情況下注意其SQL的優化
第四:比較簡單的方式是:不管資料庫里有沒有數據需要更新,都先備份,然後再進行操作
關於問題補充:你說的電子表示是不是指excel中擁有三個sheet,每個sheet為一張表?
你說的建立中間表的想法是非常正確的,這樣可以保證源數據和目的數據源的安全,有序
附:以你提問的水準,我想不需要提供具體的代碼了

6. EXCEL數據太大 如何導入資料庫

Office 自帶的Access就可以,

其實 前2頁不 是特別大的話,完全沒有必要 去Vlookup,
要什麼直接用宏 去提取 生成

7. 如何快速導入大SQL文件到MySQL資料庫

大SQL文件導入資料庫的方法:
1、點擊"開始"-"運行",輸入cmd,然後回車進入到DOS界面。
2、進入MYSQL安裝目錄。
3、假如MYSQL安裝在D盤,SQL文件也在D盤,加入命名為demo.sql,操作的方法是:
輸入"D:",回車即進入到D盤了,然後輸入"cd mysql/bin"並回車
4、再輸入"mysql -u root -p database d:/demo.sql",回車顯示要輸入密碼
5、如果MYSQL資料庫的密碼為空則不輸入任何東西回車,沒有出現錯誤說明導入成功。
注意:上面的database是要導入的資料庫名。