『壹』 如何實現大數據量資料庫的歷史數據歸檔
使用工具pt-archiver
原理解析
作為Mysql DBA，可以說應該沒有不知道pt-archiver了，作為pt-toolkit套件中的重要成員，往往能夠輕松幫助DBA解決數據歸檔的問題。例如線上一個流水表，業務僅僅只需要存放最近3個月的流水數據，三個月前的數據做歸檔即可，那麼pt-archiver就可以輕松幫你完成這件事情，甚至你可以配置成自動任務，無需人工干預。
作為DBA，我們應該知其然更應該知其所以然，這樣我們也能夠放心地使用pt工具。相信很多DBA都研究過pt-online-schema-change的原理，那麼今天我們深入刨一刨pt-archiver的工作原理。
一、原理觀察
土人有土辦法，我們直接開啟general log來觀察pt-archiver是如何完成歸檔的。
命令
pt-archiver --source h=127.0.0.1,u=xucl,p=xuclxucl,P=3306,D=xucl,t=t1 --dest h=127.0.0.1,P=3306,u=xucl,p=xuclxucl,D=xucl_archive,t=t1 --progress 5000 \
--statistics --charset=utf8mb4 --limit=10000 --txn-size 1000 --sleep 30
常用選項
--analyze
指定工具完成數據歸檔後對表執行'ANALYZE TABLE'操作。指定方法如'--analyze=ds'，s代表源端表，d代表目標端表，也可以單獨指定。
--ask-pass
命令行提示密碼輸入，保護密碼安全，前提需安裝模塊perl-TermReadKey。
--buffer
指定緩沖區數據刷新到選項'--file'指定的文件並且在提交時刷新。
只有當事務提交時禁用自動刷新到'--file'指定的文件和刷新文件到磁碟，這意味著文件是被操作系統塊進行刷新，因此在事務進行提交之前有一些數據隱式刷新到磁碟。默認是每一行操作後進行文件刷新到磁碟。
--bulk-delete
指定單個語句刪除chunk的方式來批量刪除行，會隱式執行選項'--commit-each'。
使用單個DELETE語句刪除每個chunk對應的錶行，通常的做法是通過主鍵進行逐行的刪除，批量刪除在速度上會有很大的提升，但如果有復雜的'WHERE'條件就可能會更慢。
--[no]bulk-delete-limit
默認值：yes
指定添加選項'--bulk-delete'和'--limit'到進行歸檔的語句中。
--bulk-insert
使用LOAD DATA LOCAL INFILE的方法，通過批量插入chunk的方式來插入行(隱式指定選項'--bulk-delete'和'--commit-each')
而不是通過逐行單獨插入的方式進行，它比單行執行INSERT語句插入的速度要快。通過隱式創建臨時表來存儲需要批量插入的行(chunk)，而不是直接進行批量插入操作，當臨時表中完成每個chunk之後再進行統一數據載入。為了保證數據的安全性，該選項會強制使用選項'--bulk-delete'，這樣能夠有效保證刪除是在插入完全成功之後進行的。
--channel
指定當主從復制環境是多源復制時需要進行歸檔哪個主庫的數據，適用於多源復制中多個主庫對應一個從庫的情形。
--charset，-A
指定連接字元集。
--[no]check-charset
默認值：yes
指定檢查確保資料庫連接時字元集和表字元集相同。
--[no]check-columns
默認值：yes
指定檢查確保選項'--source'指定的源端表和'--dest'指定的目標表具有相同的欄位。
不檢查欄位在表的排序和欄位類型，只檢查欄位是否在源端表和目標表當中都存在，如果有不相同的欄位差異，則工具報錯退出。如果需要禁用該檢查，則指定'--no-check-columns'。
--check-slave-lag
指定主從復制延遲大於選項'--max-lag'指定的值之後暫停歸檔操作。默認情況下，工具會檢查所有的從庫，但該選項只作用於指定的從庫(通過DSN連接方式)。
--check-interval
默認值：1s
如果同時指定了選項'--check-slave-lag'，則該選項指定的時間為工具發現主從復制延遲時暫停的時間。每進行操作100行時進行一次檢查。
--columns，-c
指定需要歸檔的表欄位，如有多個則用','(逗號)隔開。
--commit-each
指定按每次獲取和歸檔的行數進行提交，該選項會禁用選項'--txn-size'。
在每次獲取表數據並進行歸檔之後，在獲取下一次數據和選項'--sleep'指定的休眠時間之前，進行事務提交和刷新選項'--file'指定的文件，通過選項'--limit'控制事務的大小。
--host，-h
指定連接的資料庫IP地址。
--port，-P
指定連接的資料庫Port埠。
--user，-u
指定連接的資料庫用戶。
--password，-p
指定連接的資料庫用戶密碼。
--socket，-S
指定使用SOCKET文件連接。
--databases，-d
指定連接的資料庫
--source
指定需要進行歸檔操作的表，該選項是必須指定的選項，使用DSN方式表示。
--dest
指定要歸檔到的目標端表，使用DSN方式表示。
如果該選項沒有指定的話，則默認與選項'--source'指定源端表為相同表。
--where
指定通過WHERE條件語句指定需要歸檔的數據，該選項是必須指定的選項。不需要加上'WHERE'關鍵字，如果確實不需要WHERE條件進行限制，則指定'--where 1=1'。
--file
指定表數據需要歸檔到的文件。使用類似MySQL DATE_FORMAT()格式化命名方式。
文件內容與MySQL中SELECT INTO OUTFILE語句使用相同的格式，文件命名選項如下所示：
%Y：年，4位數(Year, numeric, four digits)
%m：月，2位數(Month, numeric (01..12))
%d：日，2位數(Day of the month, numeric (01..31))
%H：小時(Hour (00..23))
%i：分鍾(Minutes, numeric (00..59))
%s：秒(Seconds (00..59))
%D：資料庫名(Database name)
%t：表名(Table name)
二、原理解析
根據general log的輸出，我們整理出時序表格如下
三、其他說明
咋一看這個過程貌似也沒有什麼問題，但是，假如在原表掃描出數據，插入到新表的過程中，舊數據發生了變化怎麼辦？
帶著這個疑問，我們進行了源碼的跟蹤，我們在pt-archiver的6839行打上了斷點
然後我分別在幾個session窗口做了如下動作
最後pt-archiver輸出如下：
# A software update is available:
TIME ELAPSED COUNT
2020-04-08T09:13:21 0 0
2020-04-08T09:13:21 0 1
Started at 2020-04-08T09:13:21, ended at 2020-04-08T09:13:51
Source: A=utf8mb4,D=xucl,P=3306,h=127.0.0.1,p=...,t=t1,u=xucl
Dest: A=utf8mb4,D=xucl_archive,P=3306,h=127.0.0.1,p=...,t=t1,u=xucl
SELECT 1
INSERT 1
DELETE 1
Action Count Time Pct
sleep 1 30.0002 99.89
inserting 1 0.0213 0.07
commit 2 0.0080 0.03
select 2 0.0017 0.01
deleting 1 0.0005 0.00
other 0 0.0008 0.00
很明顯，id=3這條記錄並沒有進行歸檔（我們這里是改了條件列，實際生產中可能是更改了其他列，造成歸檔數據不準確）
那麼如何來解決這種情況的發生呢？
顯然，資料庫在資料庫中可以通過加排它鎖來防止其他程序修改對應的數據，pt-archiver其實早就已經幫我們考慮到了這樣的情況，pt-archiver提供了兩種選擇
--for-update：Adds the FOR UPDATE modifier to SELECT statements
--share-lock：Adds the LOCK IN SHARE MODE modifier to SELECT statements
四、總結
pt-archiver作為歸檔工具無疑是MySQL DBA日常運維的大利器之一，在使用過程中在知道如何使用的基礎上也能夠知曉其原理
歸檔過程中最好能對歸檔記錄進行加鎖操作，以免造成歸檔數據不準確
在主從環境中，歸檔過程最好控制速度，以免造成主從延遲
盡量控制好chunk的大小，不要過大，造成大事務
『貳』 電子合同怎麼妥善安全的保存需要列印成紙質歸檔么
企業將電子合同列印成紙質昌知跡歸檔這種保存方式當然是不可採取的，如果企業想要妥善安全的保存電子合同，可以考慮採用數字認證公司推出的電子簽名保全服務。這項保全服務通過採用專業的加密技術，可以記錄第三方平台存證開始的時間，並且確保存證過程中電子數據沒有被篡改過，從而為企業生成能夠證明電子簽名內容與行為的電子證據，幫助企業更好地進行司法活動。
目前，數字認證公司將會基於企業電子簽名的具體保存需求來為企業提供更專業，妥善的電子簽名保全服務。主要包括以下幾個方面：
電子簽名數據需要保存的時間年限。數字認證公司將會跟據電子簽名對象的保存要求，設定電子簽名數據的保存年限。比如說如果企業要將電子簽名相關數據作為證據使耐並用，應不低於訴訟時效年限；或者如果作為檔案使用，應不低於檔案長期保存的年限要求。確保電子簽名數據的完整保存。除了簽名原文數據和簽名值外，數字認證公司還會完整保存簽名證書、CA證書鏈，以及時間戳數據。
採取必要的安全存儲技術與措施，防止未來需要時電子簽名數據無法使用和驗證。數字認證公司將會對電子簽名數據進行數據加密存儲，數據訪問和使用時進行認證和授權保護，異地容災備份等，避免電子簽名數據的丟失或者無法驗證。
電子簽名數據在長期保存過程中，其密碼演算法安全和密鑰安全會隨時間的推移而逐漸降低，因此如業務中需要較長年限保存電子簽名數據（如20年及以上），數字認證公司將會考慮在必要時刻追加再次的簽名保護（如更高強度演算法的時間戳）。
總體上來說，數字認證公司所提供的電子簽名保全方案是基於傳統書證『一式三份』的傳統認知理念，從而滿足企業一式三份的保存需求。在技術方面，此方案通過採用時間戳、哈希運算等密碼技術，以此來證明數據在第三方平台的存證開始時間，以及存證過程中數據內容完整未發生過改變。不僅如此，數字認證公司還會基於企業具體的保全需求，為企業設計更加妥善的保全方案猛備。
『叄』 信息以文件形式存儲,文件用什麼分類分層存放
文件、塊和對象是三種以不同的方式來保存、整理和呈現數據的存儲格式。這些格式各有各的功能和限制。文件存儲會以文件和文件夾的層次結構來整理和呈現數據；塊存儲會將數據拆分到任意劃分且大小相同的卷中; 對象存儲會管理數據並將其鏈接至關聯的元數據。
塊存儲
塊存儲會將數據拆分成塊，並單獨存儲各個塊。每個數據塊都有一個唯一標識符，所以存儲系統能將較小的數據存放在最方便的位置。這意味著有些數據可以存儲在 Linux 環境中，有些則可以存儲在 Windows 單元中。
塊存儲通常會被配置為將數據與用戶環境分離，並會將數據分布到可以更好地為其提供服務的多個環境中。然後，當用戶請求數據時，底層存儲軟體會重新組裝來自這些環境的數據塊，並將它們呈現給用戶。它通常會部署在存儲區域網路 (SAN) 環境中，而且必須綁定到正常運行的伺服器。
由於塊存儲不依賴於單條數據路徑（和文件存儲一樣），因此可以實現快速檢索。每個塊都獨立存在，且可進行分區，因此可以通過不同的操作系統進行訪問，這使得用戶可以完全自由地配置數據。它是一種高效可靠的數據存儲方式，且易於使用和管理。它適用於要執行大型事務的企業和部署了大型資料庫的企業。這意味著，需要存儲的數據越多，就越適合使用塊存儲。
塊存儲有一些缺點。塊存儲的成本高昂。它處理元數據的能力有限。
操作對象：磁碟
存儲協議：SCSI、iSCSI、FC
介面命令：以SCSI為例，主要有Read/Write/Read Capacity
存儲架構：DAS、SAN
文件存儲
文件存儲也稱為文件級存儲或基於文件的存儲，數據會以單條信息的形式存儲在文件夾中。當需要訪問該數據時，計算機需要知道相應的查找路徑。存儲在文件中的數據會根據元數據來進行整理和檢索，這些元數據會告訴計算機文件所在的確切位置。
請試想一下塞滿文件櫃的儲藏室。每個文檔都會按照某種類型的邏輯層次結構來排放 ——按文件櫃、抽屜、文件夾，然後再是紙張。「分層存儲」這個術語就是這么來的，而這就是文件存儲。它是適用於直接和網路附加存儲（NAS）系統的最古老且運用最為廣泛的一種數據存儲系統；當訪問保存在個人計算機上的文件中的文檔，就是在使用文件存儲。文件存儲具有豐富多樣的功能，幾乎可以存儲任何內容。它非常適合用來存儲一系列復雜文件，並且有助於用戶快速導航。
問題是基於文件的存儲系統必須通過添置更多系統來進行橫向擴展，而不是通過增添更多容量來進行縱向擴展。
操作對象：文件和文件夾
存儲協議：NFS、SAMBA（SMB）、POSIX
介面命令：以NFS為例，文件相關的介面命令包括：READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS 等；文件夾相關的介面命令包括：MKDIR/RMDIR/READDIR 等
存儲架構：NAS （【Linux】NAS存儲_Jacky_Feng的博客-CSDN博客）
對象存儲
對象存儲，也稱為基於對象的存儲，是一種扁平結構，其中的文件被拆分成多個部分並散布在多個硬體間。在對象存儲中，數據會被分解為稱為「對象」的離散單元，並保存在單個存儲庫中，而不是作為文件夾中的文件或伺服器上的塊來保存。
對象存儲卷會作為模塊化單元來工作：每個卷都是一個自包含式存儲庫，均含有數據、允許在分布式系統上找到對象的唯一標識符以及描述數據的元數據。元數據包括年齡、隱私/安全信息和訪問突發事件等詳細信息。為了檢索數據，存儲操作系統會使用元數據和標識符，這樣可以更好地分配負載，並允許管理員應用策略來執行更強大的搜索。
對象存儲需要一個簡單的 HTTP 應用編程介面 (API)，以供大多數客戶端（各種語言）使用。對象存儲經濟高效：您只需為已用的內容付費。它可以輕松擴展，因而是公共雲存儲的理想之選。它是一個非常適用於靜態數據的存儲系統，其靈活性和扁平性意味著它可以通過擴展來存儲極大量的數據。對象具有足夠的信息供應用快速查找數據，並且擅長存儲非結構化數據。
它的缺點是無法修改對象 ，即必須一次性完整地寫入對象。對象存儲也不能很好地與傳統資料庫搭配使用，因為編寫對象是一個緩慢的過程，編寫應用以使用對象存儲 API 並不像使用文件存儲那麼簡單。
操作對象：對象（Object）
存儲協議：S3、Swift
介面命令：主要有PUT/GET/DELETE等
存儲架構：去中心化框架
對象存儲概念
對象存儲的數據組成
存儲桶（Bucket）：存放對象的「容器」，且該「容器」無容量上限。對象以扁平化結構存放在存儲桶中，無文件夾和目錄的概念，用戶可選擇將對象存放到單個或多個存儲桶中。存儲桶的容量大小需要通過累加各個對象的大小得到。
每個存儲桶可容納任意數量的對象，但同一個主賬號下存儲桶數量最多僅能夠創建200個。（？？？）
對於存儲桶，應當以用途為粒度進行劃分，確保每個存儲桶的用途盡可能單一。例如，針對存放個人文件、發布靜態網站、存儲備份等用途都應該創建不同的存儲桶。此外，不同項目的數據、不同的網站，或者完全私人的文件與工作性質、需要分享的文件，也應該劃分不同的存儲桶。
對象存儲中也沒有「文件夾」的概念。對象存儲的管理平台為了模仿本地存儲的使用習慣，並與本地存儲系統互相兼容而模擬了目錄結構，背後的原理也僅僅是根據 / 這個字元對 key 進行分隔。為了表示空目錄，部分雲平台也提供「文件夾」對象，實際上只是 key 以 / 結尾的空存儲對象。
存儲桶所在地域（Regin）
指對象存儲的數據中心所在地域。對象存儲允許用戶在不同地域創建存儲桶，可以選擇在離業務最近的地域上創建存儲桶，以滿足低延遲、低成本以及合規性要求。
Bucket讀寫許可權
Bucket讀寫許可權包括：私有讀寫、公有讀私有寫和公有讀寫。
私有讀寫
只有該存儲桶的創建者及有授權的賬號才對該存儲桶中的對象有讀寫許可權，其他任何人對該存儲桶中的對象都沒有讀寫許可權。存儲桶訪問許可權默認為私有讀寫，推薦使用。
公有讀私有寫
任何人（包括匿名訪問者）都對該存儲桶中的對象有讀許可權，但只有存儲桶創建者及有授權的賬號才對該存儲桶中的對象有寫許可權。
公有讀寫
任何人（包括匿名訪問者）都對該存儲桶中的對象有讀許可權和寫許可權，不推薦使用。
對象（Object）：對象存儲的基本單元，可理解為任何格式類型的數據，例如圖片、文檔和音視頻文件等。
每個對象都由對象鍵（Key）、對象值（Data）、和對象元數據（Metadata）組成。
對象鍵（Key）：對象鍵是對象在存儲桶中的全局唯一標識（UID），可以理解為文件（名）路徑。
key用於檢索對象，文件對象的 key 與實際存儲路徑無關，伺服器和用戶不需要知道數據的物理地址，通過key就能找到對象。
對象值（Data）：即存儲對象內容數據，可以理解為文件內容（Object Content）。
對象元數據（Metadata）：是一組鍵值對，可以通俗的理解為文件的屬性，例如文件的修改時間、存儲類型等。（傳統的文件存儲，元數據屬於文件本身，和文件一起封裝存儲。而對象存儲，元數據獨立出來，並不在數據內部封裝。）
對象訪問地址
對象的訪問地址由存儲桶訪問地址和對象鍵組成，其結構形式為<存儲桶域名>/<對象鍵> 。
例如：上傳對象exampleobject.txt到廣州（華南）的存儲桶examplebucket-1250000000中，那麼exampleobject.txt的訪問地址是：examplebucket-1250000000.cos.ap-guangzhou.myqcloud.com/exampleobject.txt。其中examplebucket-1250000000.cos.ap-guangzhou.myqcloud.com為存儲桶域名，exampleobject.txt為對象鍵。
目錄和文件夾
對象存儲中本身是沒有文件夾和目錄的概念的，對象存儲不會因為上傳對象project/a.txt而創建一個project文件夾。為了滿足用戶使用習慣，對象存儲在控制台、COS browser 等圖形化工具中模擬了「文件夾」或「目錄」的展示方式，具體實現是通過創建一個鍵值為project/，內容為空的對象，展示方式上模擬了傳統文件夾。
對象操作
用戶通過控制台、工具、API、SDK等多種方式管理對象。
對象存儲架構
對象存儲設備（OSD）
OSD由存儲介質、處理器、內存以及網路系統等組成，負責管理本地的對象，是對象存儲系統的核心。和塊設備相比，它們的差異在於提供的訪問介面。OSD的主要功能是數據存儲和安全訪問。
數據存儲：OSD管理對象數據，並將它們放置在標準的磁碟系統上，OSD不提供塊介面訪問方式，Client請求數據時用對象ID、偏移進行數據讀寫。
智能分布：OSD用其自身的CPU和內存優化數據分布，並支持數據的預取。由於OSD可以智能地支持對象的預取，從而可以優化磁碟的性能。
對象元數據管理：OSD管理存儲的對象元數據與傳統的inode元數據相似，通常包括對象的數據塊和對象的長度。而在傳統的NAS系統中，這些元數據是由文件伺服器維護的，對象存儲架構將系統中主要的元數據管理工作由OSD來完成，降低了Client的開銷。
元數據伺服器（MDS）
MDS控制Client與OSD對象的交互，為客戶端提供元數據，主要是文件的邏輯視圖（文件與目錄的組織關系、每個文件所對應的OSD等）。主要功能如下：
對象存儲訪問：MDS構造和管理描述每個文件分布的邏輯視圖，允許Client直接訪問對象。MDS為Client提供訪問該文件所含對象的能力，OSD在接收到每個請求時將先驗證該能力，然後才可以訪問。
文件和目錄訪問管理：MDS在存儲系統上構建一個文件結構，包括限額控制、目錄和文件的創建和刪除、訪問控制等。
Client Cache一致性：為了提高Client性能，在對象存儲系統設計時通常支持Client方的Cache。由於引入Client方的Cache，帶來了Cache一致性問題，MDS支持基於Client的文件Cache，當Cache的文件發生改變時，將通知Client刷新Cache，從而防止Cache不一致引發的問題。
客戶端（Client）
對象存儲系統提供給用戶的也是標準的POSIX文件訪問介面。介面具有和通用文件系統相同的訪問方式，同時為了提高性能，也具有對數據的Cache功能和文件的條帶功能。同時，文件系統必須維護不同客戶端上Cache的一致性，保證文件系統的數據一致。
文件系統讀訪問流程：
① 客戶端應用發出讀請求;
② 文件系統向元數據伺服器發送請求，獲取要讀取的數據所在的OSD;
③ 直接向每個OSD發送數據讀取請求；
④ OSD得到請求以後，判斷要讀取的Object，並根據此Object要求的認證方式，對客戶端進行認證，如果此客戶端得到授權，則將Object的數據返回給客戶端；
⑤ 文件系統收到OSD返回的數據以後，讀操作完成。
對象存儲的優缺點
（1）優點：
容量大，高擴展性
對象存儲的容量是EB級以上,對象存儲的所有業務、存儲節點採用分布式集群方式工作，各功能節點、集群都可以獨立擴容。從理論上來說，某個對象存儲系統或單個桶（bucket），並沒有總數據容量和對象數量的限制，即服務商就可以不停地往架構里增加資源，這個存儲空間就是無限的，也是支持彈性伸縮的。
高安全性，可靠性
對象存儲採用了分布式架構，對數據進行多設備冗餘存儲（至少三個以上節點），實現異地容災和資源隔離。數據訪問方面，所有的桶和對象都有訪問控制策略，所有連接都支持SSL加密，訪問用戶進行身份許可權鑒定。
高性能，支持海量用戶的並發訪問
（2）缺點：
不支持直接在存儲上修改
對象存儲系統保存的Object不支持修改（追加寫Object需要調用特定的介面，生成的Object也和正常上傳的Object類型上有差別）。用戶哪怕是僅僅需要修改一個位元組也需要重新上傳整個Object。因此，它不適合存儲需要頻繁擦寫的數據。
參考鏈接：
對象存儲，為什麼那麼火？ - 知乎 (hu.com)
對象存儲 存儲桶概述 - 開發者指南 - 文檔中心 - 騰訊雲 (tencent.com)
基本概念 (aliyun.com)
文件存儲、塊存儲還是對象存儲？ (redhat.com)
linux
駐馬店市民請關注領取補貼！
巨魔-抽手機公告
廣告
對比塊存儲、文件存儲、對象存儲
1242閱讀·0評論·3點贊
2019年2月27日
ShapeFile的文件格式設計
90閱讀·0評論·0點贊
2009年3月20日
應用ceph對象存儲(ceph-13.2.10)
72閱讀·0評論·0點贊
2022年11月26日
三種存儲類型比較-文件、塊、對象存儲
4.8W閱讀·0評論·13點贊
2016年7月26日
常見圖片存儲格式文件簡介
4534閱讀·0評論·0點贊
2020年5月4日
s3cmd常用命令
781閱讀·0評論·0點贊
2022年11月17日
駐馬店發布，你有一台5G手機待領取
00:23
巨摩互動
廣告
常見的存儲格式
1083閱讀·0評論·0點贊
2022年2月15日
文件、對象、塊區別
1399閱讀·0評論·0點贊
2020年7月13日
對象存儲、文件存儲、塊存儲的區別和聯系
7330閱讀·2評論·5點贊
2021年10月16日
數據分析中常見的存儲方式
1537閱讀·0評論·0點贊
2021年11月16日
三種存儲類型：塊存儲、文件存儲、對象存儲
1.5W閱讀·3評論·55點贊
2020年11月2日
如何設計二進制文件格式
1940閱讀·0評論·1點贊
2020年3月6日
BMP文件存儲格式
472閱讀·0評論·2點贊
2021年8月2日
hive 的存儲格式
1765閱讀·0評論·1點贊
2022年6月18日
數據存儲格式
446閱讀·0評論·0點贊
2022年12月21日
總結：對象存儲、塊存儲、文件存儲的區別
6606閱讀·0評論·3點贊
2022年4月9日
c語言中文件rw,什麼是「塊文件」？
386閱讀·0評論·0點贊
2021年5月23日
【存儲】塊存儲、文件存儲和對象存儲的區別？
350閱讀·0評論·0點贊
2022年7月22日
塊存儲、文件存儲與對象存儲的區別與應用場景
1846閱讀·1評論·0點贊
2022年6月5日
數據在內存中的存儲方式
272閱讀·0評論·0點贊
2022年8月21日
去首頁
看看更多熱門內容
『肆』 oc中資料庫存儲的原理
1.屬性列表
2.對象歸檔
3.資料庫存儲（SQLite3）
4.蘋果公司提供的持久性工具Core Data。
『伍』 輕松掌握什麼是數據的物理（存儲）結構
數據結構在計算機中猜源的表示（映像）稱為數據的物理（存儲）結構 它包括數據元素的表示和關系的表示
物理結構 即oracle資料庫使用的操作系統文件結構 對於資料庫物理結構文件 不同的oracle版本 不同的操作系統平台上有不同的存儲目錄結構
winnt| d:oracleproct oradataDB_NAME * *(oracle g);d:orantdatabase* *(oracle oracle ) Unix | /home/app/oracle/proct/ /oradata/DB_NAME/* * ( g);/home/app/oradata/db_name/* *( i i)
資料庫的物理結構文件按其作用可以分為三類
數據文件
日誌文件
控制文件
一 數據文件
數據文件用來存儲資料庫的數據 如表 索引等 讀取數據時 系統首先從資料庫文件中讀取數據 並存儲到SGA的數據緩沖區中 這是為了減少I/O 如果讀取數據時 緩沖區中已經有要讀取如兆拍的數據 就不需要再從磁碟中讀取了 存儲數據時也是一樣 事務提交時改變的數據先存儲到內存緩沖區中 再由oracle後台進程DBWR決定如何將其寫入到數據文件中
查詢數據文件的信息
sql>select * from dba_data_files或 sql>select * from v$datafile (此數據字典包含文件的動態信息)
一個數據文件只與一個資料庫相聯系 數據文件的大小是渣羨可以改變的 可以通過以下語句查詢表空間的空間空閑量
sql>select * from dba_free_space
修改數據文件的大小
sql>alter database datafile "d: df dbf" resize m
資料庫文件的自動擴展特性 請看下面的例子:
sql>alter tablespace tbs add datafile "d: df dbf" size m autoextend on next m maxsize m sql>alter database mydb datafile "d: df dbf" "d: df dbf" autoexetend off sql>alter database mydb datafile "d: df dbf" "d: df dbf" autoexetend on next m maxsize unlimited
二 重做日誌文件
重做日誌文件記錄對資料庫的所有修改信息 它是三類文件中最復雜的一類文件 也是保證資料庫安全與資料庫備份與恢復有直接關系的文件
日誌文件組與日誌成員
在每一個oracle資料庫中 至少有兩個重做日誌文件組 每組有一個個或多個重做日誌文件 即日誌成員 同一組中的成員是鏡像關系 它們存儲的內容是一模一樣的 Oracle在寫日誌時 以一個日誌組為邏輯單位寫入 只在將日誌都寫入日誌組中的每個成員文件中後 寫日誌才完成
日誌工作原理
Oracle有多個日誌文件組 當一個日誌文件組中所有的成員所有的成員同時被寫滿數據時 系統自動轉換到下一個日誌文件組 這個轉換過程稱為日誌切換
當日誌切換後 會給前一個日誌組編一個號 用於歸檔日誌的編號 這個編號稱為日誌序列號 此編號由 開始 每切換一次 序列號自動加 最大值受參數MAXLOGHISTORY限制 該參數的最大值為
當oracle把最後一個日誌組寫滿了以後 自動轉向第一個日誌組 這時 再向第一個日誌組寫日誌的時候 如果資料庫運行在非歸檔模式下 這個日誌組中的原有日誌信息就會被覆蓋
使用以下語句查詢日誌文件信息
sql>select * from v$log
相關欄位說明如下
GROUP#:日誌文件組號
THREAD#:日誌文件線程號 一般為 雙機容時為
SEQUENCE#:日誌序列號
BYTES:日誌文件大小
MEMBERS:該組的日誌成員個數
ARC:該組日誌信息是否已經完成歸檔
STATUS:該組狀態（CURRENT:表示當前正在使用的組 NACTIVE:表示非活動組 ACTIVE:表示歸檔未完成）
FIRST_CHANGE#:系統改變號SCN 也叫檢查點號
FIRST_TIME:系統改變時間
DBA可以使用下列命令進行強制日誌切換
sql>alter system switch logfile
NOARCHIVELOG/ARCHIVELOG
NOARCHIVELOG是非歸檔模式 如果資料庫運行在這種模式下 當日誌切換時 新切換到的日誌組中的日誌信息會被覆蓋 ARCHIVELOG:歸檔模式 如果資料庫運行在這種模式下 日誌會被歸檔存儲 產生歸檔日誌 且在未歸檔之前 日誌不允許被覆蓋寫入
要確認資料庫的歸檔方式 可以查詢數據字典v$database:
sql>select log_mode from v$database
要了解歸檔日誌的信息 可以查詢數據字典v$archived_log
要將資料庫改為歸檔模式
a alter database archivelog
b 設置初始化參數LOG_ARCHIVE_START=TRUE
c 設置歸檔文件目標存儲路徑 LOG_ARCHIVE_DEST=C:ORAARCHIVE
d 設置歸檔文件命名格式參數 LOG_ARCHIVE_FORMAT="ORCK%T%S ARC" 這個格式中的%S表示日誌序列號 自動左邊補零 %s表示日誌序列號 自動左邊不補零 %T表示日誌線程號 左邊補零 %t表示日誌線程號不補零
e 重新啟動資料庫
CKPT進程(檢查點進程)
CKPT進程保證有修改過的資料庫緩沖區中的數據都被寫入到數據文件 日誌文件 數據文件 資料庫頭和控制文件中都有寫入檢查點標記 資料庫在恢復時 只需提供自上一個檢查以來所做的修改 檢查點完成時系統將更新資料庫資料庫頭和控制文件
參數LOG_CHECKPOINT_TIMEOUT決定一個檢查點發生的時間間隔 LOG_CHECKPOINT_INTERVAL決定一個檢查需要填充的日誌文件塊的數量 檢查點號 也稱系統改變號(SCN) 它標識一個檢查點 可以通過v$log查詢日誌文件的檢查點信息 通過v$datafile查詢數據文件的檢查點信息 通過v$database查詢資料庫頭的檢查點信息 三個地方的檢查點號相同 如果不同 說明發明資料庫不同步 此時資料庫肯定無法正常啟動
增加與刪除日誌文件組 日誌成員(詳細語法請參考oracle文檔)
alter database [database] add logfile [group integer] filespec[ [group alter database [database] add logfile ( ) alter database [database] drop logfile [grout integer] alter database[database] add logfile member "filespec" [reuse] to group integer alter database [database] drop logfile member "filename" "filename" alter database [database] rename file "filename" to "filename
"
清除日誌文件數據
alter database [database] clear [unarchived] logfile group integer|filespec
三 控制文件
控制文件是一個二進制文件 用來描述資料庫的物理結構 一個資料庫只需要一個控制文件 控制文件的內容包括
資料庫名及資料庫唯一標識
數據文件和日誌文件標識
資料庫恢復所需的同步信息 即檢查點號
控制文件由參數control_files指定 格式如下
control_files=("home/app/ /control ctl" "home/app/ /control ctl")
參數中各個文件是鏡像關系 也就是說 幾個文件中只要有一個文件完好 資料庫就可以正常運行
以下語句查詢控制文件的信息
sql>select * from v$controlfile
如果控制文件損壞或丟失 資料庫將終止並且無法啟動 所以 要對控制文件進行鏡象 手工鏡像步驟如下
a 關閉資料庫
b 復制控制文件
c 修改參數文件 加入新增的控制文件位置描述
d 重新啟動資料庫
另外注意 控制文件中還包含幾個伺服器參數的設置 如果修改這些參數的值 剛需要重新創建控制文件 這些參數是
MAXLOGFILES:最大日誌文件個數
MAXLOGMEMBERS:最大日誌成員個數
MAXLOGHISTORY:最大歷史日誌個數
MAXDATAFILES:最大數據文件個數
MAXINSTANCES:最大實例文件個數
所有修改資料庫結構的命令都會引起控制文件的改變 同時出會記錄在oracle跟蹤文件中 跟蹤文件的名稱為alter_SID log 路徑如下
d:oracleproct adminDB_NAMEmpSIDALRT log(unix是alter_SID ora)
也可以在參數文件中指定跟蹤文件的存儲路徑 後台進程跟蹤文件目錄由參數background_mp_dest指定 用戶跟蹤文件位置由參數user_bmp_dest指定 如
lishixin/Article/program/SQL/201405/30847
『陸』 Linux打包和壓縮
打包
打包，也稱為歸檔，指的是一個文件或目錄的集合，而這個集合被存儲在一個文件中。歸檔文件沒有經過壓縮，因此，它佔用的空間是其中所有文件和目錄的總和。通常，歸檔總是會和系統備份聯系在一起。
壓縮
壓縮是指利用演算法將文件進行處理，已達到保留最大文件信息，而讓文件體積變小的目的。其基本原理為，通過查找文件內的重復位元組，建立一彎蘆個相同位元組的詞典文件，並用一個代碼表示。
壓縮和歸檔文件類似，壓縮文件也是一個文件和目錄的集合，且這個集合也被存儲在一野山個文件中，但它們的不同之處在於，壓縮文件採用了不同的存儲方式，使其所佔用的磁碟空間比集合中所有文件大小的總和要小。
由於計算機處理的信息是以二進制的形式表示的，因此，壓縮軟體就是把二進制信息中相同的字元串以特殊字元標記，只要通過合理的數學計算，文件的體積就能夠被大大壓縮。把一個或者多個文件用壓縮軟體進行壓縮，形成一個文件壓縮包，既可以節省存儲空間，又方便在網路上傳送。
對文件進行埋脊帶壓縮，很可能損壞文件中的內容，因此，壓縮又可以分為有損壓縮和無損壓縮。
打包和壓縮的區別
打包指的是將多個文件和目錄集中存儲在一個文件中，而壓縮則指的是利用演算法對文件進行處理，從而達到縮減佔用磁碟空間的目的。
Linux下，常用打包命令有2個，分別是tar和dd;常用的壓縮命令有很多，比如gzip、zip、bzip2等。
『柒』 金山快盤，微雲，百度雲，360網盤， 等雲儲存巨大儲存空間，它們的原理究竟是什麼
雲盤原理其實就是網路公司使用雲存儲技術為注冊用戶提供大容量雲端存儲服務。
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是一種新興的網路存儲技術，是指通過集群應用、網路技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。
雲存儲設備通過應用軟體集合起來協同工作，形成一個安全的數據存儲和訪問的系統，適用於各大中小型企業與個人用戶的數據資料存儲、備份、歸檔等一系列需求。雲存儲最大優勢在於將單一的存儲產品轉換為數據存儲與服務，在這個技術下，網盤行業可能像金融行業銀行一樣，在單一的存儲服務基礎衍生出更多增值的服務，只有這種改變才能使雲存儲迎來蓬勃發展的春天。
雲盤是互聯網存儲工具，雲盤是互聯網雲技術的產物，它通過互聯網為企業和個人提供信息的儲存，讀取，下載等服務。具有安全穩定、海量存儲的特點。
目前我國常見的網盤有：金山快盤、聯想網盤、華為網盤 （原DBank網盤）、千軍萬馬網盤、115網盤、網路網盤、酷盤、新浪微盤、360雲盤、共享盤、T盤（金山網路出品）、雲諾（YUNIO）、EverBox（盛大網盤）、微軟skydrive、迅載網盤、網丫場、PocketDisk啟明網盤、抽屜網盤、網易網盤、iBoxFile、WebDisk、126網盤、139郵箱網盤、網盤卡卡網盤、16密盤、永碩E盤、QQ隨身盤、265網路硬碟vdisk、納米盤、同步盤、TOM網盤、uc網盤、51網盤、99盤、速度盤、凱備份等，有些是完全免費的，有些是收費兼免費的，用戶可根據需要選用。
『捌』 網路存儲技術的工作原理是什麼有圖解釋么
網路存儲技術（Network Storage Technologies）是基於數據存儲的一種通用網路術語。網路存儲結構大致分為三種：直連式存儲（DAS：Direct Attached Storage）、網路存儲設備（NAS：Network Attached Storage）和存儲網路（SAN：Storage Area Network）。
網路存儲技術
直連式存儲（DAS）：這是一種直接與主機系統相連接的存儲設備，如作為伺服器的計算機內部硬體驅動。到目前為止，DAS 仍是計算機系統中最常用的數據存儲方法。 DAS即直連方式存儲，英文全稱是Direct Attached Storage。中文翻譯成「直接附加存儲」。顧名思義，在這種方式中，存儲設備是通過電纜（通常是SCSI介面電纜）直接到伺服器的。I/O（輸入/輸入）請求直接發送到存儲設備。DAS，也可稱為SAS（Server-Attached Storage，伺服器附加存儲）。它依賴於伺服器，其本身是硬體的堆疊，不帶有任何存儲操作系統。
DAS的適用環境為：
1） 伺服器在地理分布上很分散，通過SAN（存儲區域網路）或NAS（網路直接存儲）在它們之間進行互連非常困難時(商店或銀行的分支便是一個典型的例子)； 2） 存儲系統必須被直接連接到應用伺服器（如Microsoft Cluster Server或某些資料庫使用的「原始分區」）上時； 3） 包括許多資料庫應用和應用伺服器在內的應用，它們需要直接連接到存儲器上，群件應用和一些郵件服務也包括在內。 典型DAS結構如圖所示： 典型DAS結構如圖所示
對於多個伺服器或多台PC的環境，使用DAS方式設備的初始費用可能比較低，可是這種連接方式下，每台PC或伺服器單獨擁有自己的存儲磁碟，容量的再分配困難；對於整個環境下的存儲系統管理，工作煩瑣而重復，沒有集中管理解決方案。所以整體的擁有成本（TCO）較高。目前DAS基本被NAS所代替。下面是DAS與NAS的比較。 DAS與NAS的比較圖
網路存儲設備（NAS）：NAS 是一種採用直接與網路介質相連的特殊設備實現數據存儲的機制。由於這些設備都分配有 IP 地址，所以客戶機通過充當數據網關的伺服器可以對其進行存取訪問，甚至在某些情況下，不需要任何中間介質客戶機也可以直接訪問這些設備。
NAS網路存儲器
1. 最大存儲容量
最存儲大存儲容量是指NAS存儲設備所能存儲數據容量的極限，通俗的講，就是NAS設備能夠支持的最大硬碟數量乘以單個硬碟容量就是最大存儲容量。這個數值取決於NAS設備的硬體規格。不同的硬體級別，適用的范圍不同，存儲容量也就有所差別。通常，一般小型的NAS存儲設備會支持幾百GB的存儲容量，適合中小型公司作為存儲設備共享數據使用，而中高檔的NAS設備應該支持T級別的容量（1T=1000G）。
2. 處理器
同普通電腦類似，NAS產品也都具有自己的處理器（CPU）系統，來協調控制整個系統的正常運行。其採用的處理器也常常與台式機或伺服器的CPU大體相同。目前主要有以下幾類。 （1）Intel系列處理器 （4）AMD系列處理器 （5）PA-RISC型處理器 （6）PowerPC處理器 （7）MIPS處理器 一般針對中小型公司使用NAS產品採用AMD的處理器或Intel PIII/PIV等處理器。而大規模應用的NAS產品則使用Intel Xeon處理器、或者RISC型處理器等。但是也不能一概而論，視具體應用和廠商規劃而定。
3. 內存
NAS從結構上講就是一台精簡型的電腦，每台NAS設備都配備了一定數量的內存，而且大多用戶以後可以擴充。在NAS設備中，常見的內存類型由SDRAM（同步內存）、FLASH（快閃記憶體）等。不同的NAS產品出廠時配備的內存容量不同，一般為幾十兆到數GB（1GB=1000MB）容量不等，這取決於NAS產品的應用范圍，一般來講，應用在小規模的區域網當中的NAS，如果只是應付幾台設備的訪問，64M以下內存容量即可。如果是上百個節點以上的訪問，就得需要上G容量的內存。當然，這不是絕對的因素，NAS產品的綜合性能發揮還取決於它的處理器能力、硬碟速度及其網路實際環境等因素的制約。總之，選購NAS產品時，應該綜合考慮各個方面的性能參數。
4. 介面
NAS產品的外部介面比較簡單，由於只是通過內置網卡與外界通訊，所以一般只具有乙太網絡介面，通常是RJ45規格，而這種介面網卡一般都是100M網卡或1000M網卡。另外，也有部分NAS產品需要與SAN（存儲區域網路）產品連接提供更為強大的功能，所以也可能會有FC（Fiber Channel光纖通道）介面。
5. 預置軟體系統
預制操作系統是指NAS產品出廠時隨機帶的操作系統或者管理軟體。目前NAS產品一般帶有以下幾種系統軟體。 精簡的WINDOWS2000系統 這類系統只是保留了WINDOWS2000 SERVER系統核心網路中最重要的部分，能夠驅動NAS產品正常工作。我們可以把它理解為WINDOWS2000的「精簡版」。 FreeBSD嵌入式系統 FreeBSD是類UNIX系統，在網路應用方面具備極其優異的性能。 Linux嵌入式系統 Linux系統類似於UNIX操組系統，但相比之下具有界面友好、內核升級迅速等特點。常常用來作為電器等產品的嵌入式控制系統。
6. 網路管理
網路管理，是指網路管理員通過網路管理程序對網路上的資源進行集中化管理的操作，包括配置管理、性能和記賬管理、問題管理、操作管理和變化管理等。一台設備所支持的管理程度反映了該設備的可管理性及可操作性。 一般的網路滿足SNMP MIB I / MIB II統計管理功能。常見的網路管理方式有以下幾種： （1）SNMP管理技術 （2）RMON管理技術 （3）基於WEB的網路管理 SNMP是英文「Simple Network Management Protocol」的縮寫，中文意思是「簡單網路管理協議」。SNMP首先是由Internet工程任務組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問題而提出的。 SNMP是目前最常用的環境管理協議。SNMP被設計成與協議無關，所以它可以在IP，IPX，AppleTalk，OSI以及其他用到的傳輸協議上被使用。SNMP是一系列協議組和規范（見下表），它們提供了一種從網路上的設備中收集網路管理信息的方法。SNMP也為設備向網路管理工作站報告問題和錯誤提供了一種方法。 目前，幾乎所有的網路設備生產廠家都實現了對SNMP的支持。領導潮流的SNMP是一個從網路上的設備收集管理信息的公用通信協議。設備的管理者收集這些信息並記錄在管理信息庫（MIB）中。這些信息報告設備的特性、數據吞吐量、通信超載和錯誤等。MIB有公共的格式，所以來自多個廠商的SNMP管理工具可以收集MIB信息，在管理控制台上呈現給系統管理員。 通過將SNMP嵌入數據通信設備，如交換機或集線器中，就可以從一個中心站管理這些設備，並以圖形方式查看信息。目前可獲取的很多管理應用程序通常可在大多數當前使用的操作系統下運行，如Windows3.11、Windows95 、Windows NT和不同版本UNIX的等。 一個被管理的設備有一個管理代理，它負責向管理站請求信息和動作，代理還可以藉助於陷阱為管理站提供站動提供的信息，因此，一些關鍵的網路設備（如集線器、路由器、交換機等）提供這一管理代理，又稱SNMP代理，以便通過SNMP管理站進行管理。
7. 網路協議
網路協議即網路中（包括互聯網）傳遞、管理信息的一些規范。如同人與人之間相互交流是需要遵循一定的規矩一樣，計算機之間的相互通信需要共同遵守一定的規則，這些規則就稱為網路協議。 一台計算機只有在遵守網路協議的前提下，才能在網路上與其他計算機進行正常的通信。網路協議通常被分為幾個層次，每層完成自己單獨的功能。通信雙方只有在共同的層次間才能相互聯系。常見的協議有：TCP/IP協議、IPX/SPX協議、NetBEUI協議等。在區域網中用得的比較多的是IPX/SPX.。用戶如果訪問Internet，則必須在網路協議中添加TCP/IP協議。 TCP/IP是「transmission Control Protocol/Internet Protocol」的簡寫，中文譯名為傳輸控制協議/互聯網路協議）協議， TCP/IP（傳輸控制協議/網間協議）是一種網路通信協議，它規范了網路上的所有通信設備，尤其是一個主機與另一個主機之間的數據往來格式以及傳送方式。TCP/IP是INTERNET的基礎協議，也是一種電腦數據打包和定址的標准方法。在數據傳送中，可以形象地理解為有兩個信封，TCP和IP就像是信封，要傳遞的信息被劃分成若干段，每一段塞入一個TCP信封，並在該信封面上記錄有分段號的信息，再將TCP信封塞入IP大信封，發送上網。在接受端，一個TCP軟體包收集信封，抽出數據，按發送前的順序還原，並加以校驗，若發現差錯，TCP將會要求重發。因此，TCP/IP在INTERNET中幾乎可以無差錯地傳送數據。 對普通用戶來說，並不需要了解網路協議的整個結構，僅需了解IP的地址格式，即可與世界各地進行網路通信。 IPX/SPX是基於施樂的XEROX』S Network System（XNS）協議，而SPX是基於施樂的XEROX』S SPP（Sequenced Packet Protocol：順序包協議）協議，它們都是由novell公司開發出來應用於區域網的一種高速協議。它和TCP/IP的一個顯著不同就是它不使用ip地址，而是使用網卡的物理地址即（MAC）地址。在實際使用中，它基本不需要什麼設置，裝上就可以使用了。由於其在網路普及初期發揮了巨大的作用，所以得到了很多廠商的支持，包括microsoft等，到現在很多軟體和硬體也均支持這種協議。 NetBEUI即NetBios Enhanced User Interface ，或NetBios增強用戶介面。它是NetBIOS協議的增強版本，曾被許多操作系統採用，例如Windows for Workgroup、Win 9x系列、Windows NT等。NETBEUI協議在許多情形下很有用，是WINDOWS98之前的操作系統的預設協議。總之NetBEUI協議是一種短小精悍、通信效率高的廣播型協議，安裝後不需要進行設置，特別適合於在「網路鄰居」傳送數據。所以建議除了TCP/IP協議之外，區域網的計算機最好也安上NetBEUI協議。另外還有一點要注意，如果一台只裝了TCP/IP協議的WINDOWS98機器要想加入到WINNT域，也必須安裝NetBEUI協議。
8. 網路文件協議
網路文件系統是基於網路的分布式文件系統，其文件系統樹的各節點可以存在於不同的聯網計算機甚至不同的系統平台上，可以用來提供跨平台的信息存儲與共享。 當今最主要的兩大網路文件系統是Sun提出的NFS（Network File System）以及由微軟、EMC和NetApp提出的CIFS（Common Internet File System），前者主要用於各種Unix平台，後者則主要用於Windows平台，我們熟悉的「網上鄰居」的文件共享方式就是基於CIFS系統的。其他著名的網路文件系統還有Novell公司的NCP（網路控制協議）、Apple公司的AFP以及卡內基-梅隆大學的Coda等，NAS的主要功能之一便是通過各種網路文件系統提供存儲服務。
9. 網路備份軟體
目前在數據存儲領域可以完成網路數據備份管理的軟體產品主要有Legato公司的NetWorker、IBM公司 的Tivoli、Veritas公司 的NetBackup等。另外有些操作系統，諸如Unix的tar/cpio、Windows2000/NT的Windows Backup、Netware的Sbackup也可以作為NAS的備份軟體。
NetBackup
NetBackup是Veritas公司推出的適用於中型和大型的存儲系統的備份軟體，可以廣泛的支持各種開放平台。另外該公司還推出了適合低端的備份軟體Backup Exec。
NetWorker
NetWorker是Legato公司推出的備份軟體，它適用於大型的復雜網路環境，具有各種先進的備份技術機制，廣泛的支持各種開放系統平台。值得一提的是， NetWorker中的Cellestra技術第一個在產品上實現了Serverless Backup（無伺服器備份）的思想。
IBM Tivoli
IBM Tivoli是IBM公司推出的備份軟體，與Veritas的NetBackup和Legato的NetWorker相比，Tivoli Storage Manager更多的適用於IBM主機為主的系統平台，其強大的網路備份功能可以勝任大規模的海量存儲系統的備份需要。 此外，CA公司原來的備份軟體ARCServe，在低端市場具有相當廣泛的影響力。其新一代備份產品--BrightStor，定位直指中高端市場，也具有不錯的性能。 選購備份軟體時，應該根據不同的用戶需要選擇合適的產品，理想的網路備份軟體系統應該具備以下功能:
集中式管理
網路存儲備份管理系統對整個網路的數據進行管理。利用集中式管理工具的幫助，系統管理員可對全網的備份策略進行統一管理，備份伺服器可以監控所有機器的備份作業，也可以修改備份策略，並可即時瀏覽所有目錄。所有數據可以備份到同備份伺服器或應用伺服器相連的任意一台磁帶庫內。
全自動的備份
備份軟體系統應該能夠根據用戶的實際需求，定義需要備份的數據，然後以圖形界面方式根據需要設置備份時間表，備份系統將自動啟動備份作業，無需人工干預。這個自動備份作業是可自定的,包括一次備份作業、每周的某幾日、每月的第幾天等項目。設定好計劃後，備份作業就會按計劃自動進行。
資料庫備份和恢復
在許多人的觀念里，資料庫和文件還是一個概念。當然，如果你的資料庫系統是基於文件系統的，當然可以用備份文件的方法備份資料庫。但發展至今，資料庫系統已經相當復雜和龐大，再用文件的備份方式來備份資料庫已不適用。是否能夠將需要的數據從龐大的資料庫文件中抽取出來進行備份，是網路備份系統是否先進的標志之一。
在線式的索引
備份系統應為每天的備份在伺服器中建立在線式的索引，當用戶需要恢復時，只需點取在線式索引中需要恢復的文件或數據，該系統就會自動進行文件的恢復。
歸檔管理
用戶可以按項目、時間定期對所有數據進行有效的歸檔處理。提供統一的Open Tape Format 數據存儲格式從而保證所有的應用數據由一個統一的數據格式作為永久的保存，保證數據的永久可利用性。
有效的媒體管理
備份系統對每一個用於作備份的磁帶自動加入一個電子標簽，同時在軟體中提供了識別標簽的功能，如果磁帶外面的標簽脫落，只需執行這一功能，就會迅速知道該磁帶的內容。
滿足系統不斷增加的需求
備份軟體必須能支持多平台系統，當網路上連接上其它的應用伺服器時，對於網路存儲管理系統來說，只需在其上安裝支持這種伺服器的客戶端軟體即可將數據備份到磁帶庫或光碟庫中。
10. 網站瀏覽器支持
網站瀏覽器支持是指能否夠通過WEB（就是WWW，俗稱互聯網）手段對NAS產品進行管理，以及管理時使用的瀏覽器類型。絕大部分的NAS產品都支持WEB管理，這樣的好處是管理方便，用戶在任何地方只要能夠上網就可以輕松的管理NAS設備。 目前NAS產品支持的常用瀏覽器有微軟的IE（Internet Explorer）瀏覽器以及網景公司的Netscape瀏覽器。
11. 網路服務
網路服務是指NAS產品在運行時系統能夠提供何種服務。典型的網路服務有DHCP、DNS、FTP、Telnet、WINS、SMTP等。
DHCP
DHCP的全名是「Dynamic Host Configuration Protocol」，即動態主機配置協議。在使用DHCP的網路里，用戶的計算機可以從DHCP伺服器那裡獲得上網的參數，幾乎不需要做任何手工的配置就可以上網。 一般情況下，DHCP伺服器會盡量保持每台計算機使用同一個IP地址上網。如果計算機長時間沒有上網或配置為使用靜態地址上網，DHCP伺服器就會把這個地址分配給其他計算機。
WINS
WINS是「Windows Internet Name Service」的簡稱，中文為Windows網際命名服務，WINS伺服器主要用於NetBIOS名字（計算機名稱）服務，它處理的是NetBIOS計算機名(Computer Name)，所以也被稱為NetBIOS名字伺服器(NBNS，NetBIOS Name Server)。WINS伺服器可以登記WINS-enabled工作站(下面簡稱為「WINS工作站」)的計算機名、IP地址、DNS域名等數據，當工作站查詢名字時，它又可以將這些數據提供給工作站。
DNS
DNS，Domain Name System或者Domain Name Service（域名系統或者余名服務）。域名系統為Internet上的主機分配域名地址和IP地址。用戶使用域名地址，該系統就會自動把域名地址轉為IP地址。域名服務是運行域名系統的Internet工具。執行域名服務的伺服器稱之為DNS伺服器，通過DNS伺服器來應答域名服務的查詢。
FTP
文件傳輸協議FTP(File Transfer Protocol)是Internet傳統的服務之一。FTP使用戶能在兩個聯網的計算機之間傳輸文件，它是Internet傳遞文件最主要的方法。使用匿名(Anonymous)FTP， 用戶可以免費獲取Internet豐富的資源。除此之外，FTP還提供登錄、目錄查詢、文件操作及其他會話控制功能。
SMTP
SMTP(Simple Mail Transfer Protocol)即簡單郵件傳輸協議,它是一組用於由源地址到目的地址傳送郵件的規則,由它來控制信件的中轉方式。SMTP協議屬於TCP/IP協議族,它幫助每台計算機在發送或中轉信件時找到下一個目的地。通過SMTP協議所指定的伺服器,我們就可以把E－mail寄到收信人的伺服器上了,整個過程只要幾分鍾。SMTP伺服器則是遵循SMTP協議的發送郵件伺服器，用來發送或中轉你發出的電子郵件。
Telnet
有的時候我們需要運行一些很大的程序，而自己的PC又達不到運行這個程序所必須的配置，在這種情況下，我們可以通過網路連接上一台功能強大的計算機，並且把自己的PC模擬成那台計算機的終端，進而達到在該計算機上運行程序的目的。這種利用網路遠程登錄到其他計算機上，並且以虛擬終端方式遙控程序運行的做法就是TELNET。隨著計算機硬體的發展，目前TELNET在一般網路用戶中已經不是很普遍了，但是對於網路管理員來說，它仍然是個得力助手。
12. 網路安全
網路安全是指網路系統的硬體、軟體及其系統中的數據受到保護，不受偶然的或者惡意的原因而遭到破壞、更改、泄露，系統連續可靠正常地運行，網路服務不中斷。 網路安全實際上包括兩部分：網路的安全和主機系統的安全。網路安全主要通過設置防火牆來實現，也可以考慮在路由器上設置一些數據包過濾的方法防止來自Internet上的黑客的攻擊。至於系統的安全則需根據不同的操作系統來修改相關的系統文件，合理設置用戶許可權和文件屬性。 NAS產品的網路安全應具有以下四個方面的特徵： 保密性：信息不泄露給非授權用戶、實體或過程，或供其利用的特性。 完整性： 數據未經授權不能進行改變的特性。即信息在存儲或傳輸過程中保持不被修 改、不被破壞和丟失的特性。 可用性：可被授權實體訪問並按需求使用的特性。即當需要時能否存取所需的信息。例 如網路環境下拒絕服務、破壞網路和有關系統的正常運行等都屬於對可用性的攻擊； 可控性：對信息的傳播及內容具有控制能力。
13. NAS
NAS是英文「Network Attached Storage」的縮寫, 中文意思是「網路附加存儲」。按字面簡單說就是連接在網路上, 具備資料存儲功能的裝置，因此也稱為「網路存儲器」或者「網路磁碟陣列」。 從結構上講，NAS是功能單一的精簡型電腦，因此在架構上不像個人電腦那麼復雜，在外觀上就像家電產品，只需電源與簡單的控制鈕， 結構圖如下： NAS是一種專業的網路文件存儲及文件備份設備，它是基於LAN（區域網）的，按照TCP/IP協議進行通信，以文件的I/O（輸入/輸出）方式進行數據傳輸。在LAN環境下，NAS已經完全可以實現異構平台之間的數據級共享，比如NT、UNIX等平台的共享。 一個NAS系統包括處理器，文件服務管理模塊和多個硬碟驅動器(用於數據的存儲)。 NAS 可以應用在任何的網路環境當中。主伺服器和客戶端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）NFS格式(Unix, Linux)和CIFS（Common Internet File System）格式等等。典型的NAS的網路結構如下圖所示： 存儲網路（SAN）：SAN 是指存儲設備相互連接且與一台伺服器或一個伺服器群相連的網路。其中的伺服器用作 SAN 的接入點。在有些配置中，SAN 也與網路相連。SAN 中將特殊交換機當作連接設備。它們看起來很像常規的乙太網絡交換機，是 SAN 中的連通點。SAN 使得在各自網路上實現相互通信成為可能，同時並帶來了很多有利條件。 SAN英文全稱：Storage Area Network，即存儲區域網路。它是一種通過光纖集線器、光纖路由器、光纖交換機等連接設備將磁碟陣列、磁帶等存儲設備與相關伺服器連接起來的高速專用子網。 SAN由三個基本的組件構成：介面（如SCSI、光纖通道、ESCON等）、連接設備（交換設備、網關、路由器、集線器等）和通信控制協議（如IP和SCSI等）。這三個組件再加上附加的存儲設備和獨立的SAN伺服器，就構成一個SAN系統。SAN提供一個專用的、高可靠性的基於光通道的存儲網路，SAN允許獨立地增加它們的存儲容量，也使得管理及集中控制（特別是對於全部存儲設備都集群在一起的時候）更加簡化。而且，光纖介面提供了10 km的連接長度，這使得物理上分離的遠距離存儲變得更容易.
『玖』 Mysql數據歸檔如何實現利用Java
用mysql的job（作業）每天定時備份數據，不需要java參與
『拾』 名詞解釋：存儲技術
卡片式存儲設備
卡片式存儲設備算來算去只有幾種，而且都是利用半導體技術來儲存資料。存儲卡的原理和RAM一樣，區別只在於是否使用「Volatile"或「Non-volatile"(後者在沒有電源時，存儲設備內的資料也能永久保存)技術。
卡片式存儲器的應用領域有：
1.數字相機 要算使用存儲卡最多的IT產品，數字相機絕對是頭一個。由於數字相機需要有一定的容量來儲存相片，而且質量越高的相片要求越大的容量，所以數字相機足以保障存儲卡有一定的市場。
2.MP3隨身聽網際網路使MP3音樂垂手可得，也使MP3隨身聽有可能取代MD或CD隨身聽。而MP3隨身聽想要保存MP3歌曲文件，辦法就是使用存儲卡。通常，一部MP3隨身聽內置的是32MB的存儲卡(只能存放約10首歌曲)，消費者往往會多買一張64MB的存儲卡來保存歌曲。這樣就會增大存儲卡的銷售。
8mm磁帶
8mm磁帶：是一種由Exabyte公司開發、適合於大中型網路和多用戶系統的大容量磁帶。8mm磁帶驅動器也採用螺旋掃描技術，而且磁帶較寬，因而存儲容量極高，一盒磁帶的最高容量可達150GB
存儲卡
這里說的存儲卡是用來儲存數據資料並且可以在電腦上使用的數據存儲卡!
1.CF卡CF卡是最早推出的存儲卡，也是大家都比較青睞的存儲卡。CF卡得以普及的原因很多，其中比較重要的一點就是物美價廉。比起其他數碼存儲卡，CF卡單位容量的存儲成本差不多是最低的，速度也比較快，而且大容量的CF卡比較容易買到。
我們可以接觸的到CF卡分為CFType I/CF Type II兩種類型。由於CF存儲卡的插槽可以向下兼容，因此TypeII插槽既可以使CF TypeII卡又可以使用CFType I卡;而Type I插槽則只能使用CFType I卡，而不能使用CFType II卡，朋友們在選購和使用的時候一定要注意。
2.SD卡 SD卡體積小巧，廣泛應用在數碼相機上，是由日本的松下公司、東芝公司和SanDisk公司共同開發的一種全新的存儲卡產品，最大的特點就是通過加密功能，保證數據資料的安全保密。SD卡在外形上同MultiMedia Card卡保持一致，並且兼容MMC卡介面規范。不過注意的是，在某些產品例如手機上，SD卡和MMS卡是不能兼容的。SD 卡在售價方面要高於同容量的MultiMedia Card卡。
3.MS卡在5年前，索尼公司生產了它自己的快閃記憶體記憶卡，就是記憶棒—MemoryStick。其應用於索尼公司出的數碼產品，掌上電腦、MP3、數碼相機、數碼攝像機等等數碼設備。由Memory Stick所衍生出來的Memory Stick PRO和Memory Stick DUO也是索尼記憶棒向高容量和小體積發展的產物。
4.SM卡SM卡最早是由東芝公司推出的，它僅僅是將存儲晶元封裝起來，自身不包含控制電路，所有的讀寫操作安全依賴於使用它的設備。盡管由於結構簡單可以做得很薄，在便攜性方面優於CF卡，但兼容性差是其致命之傷，一張SM卡一旦在MP3播放器上使用過，數碼相機就可能不能再讀寫。其市場表現已呈龍鍾之態，不會再有更多新的設備支持它。
5.MMC卡MMC卡是由Sandisk和西門子於1997年聯手推出的，它普及還沾了點SD卡的光。後來推出的SD卡標准中保留了設備對MMC卡的兼容，就是說雖然使用MMC卡的設備無法使用SD卡，而使用SD卡的設備卻可以毫無障礙地使用MMC卡，在某些時候使得MMC順利成為SD卡的代替品。MMC卡的大小和SD基本一樣，比SD卡要薄一點，不過在讀取速度上還是SD強。因此價格也是MMC比較便宜。
6.xD圖像卡xD圖像卡是繼上面幾種存儲卡而後生的存儲卡產品，是由富士膠卷和奧林巴斯光學工業為SM卡的後續產品成功開發的產品。它的特點是集體積更小、容量更大於一身，xD圖像卡設計只有一張郵票那麼大，未來圖像存儲能力高達令人驚嘆的8GB。
數字線性磁帶
DLT(Digital Linear Tape，數字線性磁帶)源於1/2英寸磁帶機，它出現很早，主要用於數據的實時採集。DLT每盒容量高達40GB以上，成本較低，主要定位於中、高級的伺服器市場與磁帶庫系統。
先進的智能型磁帶
AIT(先進的智能型磁帶)是SONY公司在快速訪問高密度磁帶錄制技術方面的最新創新，現已成為磁帶機工業標准。AIT使用一種磁帶盒上含有記憶體晶片的磁帶，通過在微型晶片上記錄磁帶上文件的位置，大大減少了存取時間。
數字音頻磁帶
ST(Digital Audio Tape：數字音頻磁帶)磁帶：該磁帶寬為0.15英寸(4mm)，又叫4毫米磁帶。ST磁帶盒較小，體積僅為73mm×54mm×10.5mm，比一般錄音機磁帶盒還小。但由於該磁帶存儲系統採用了螺旋掃描技術，使得該磁帶具有很高的存儲容量。
差分備份
差分備份(Differential Backup) 就是每次備份的數據是相對於上一次全備份之後新增加的和修改過的數據。差分備份無需每天都做系統完全備份，因此備份所需時間短，並節省磁帶空間，它的災難恢復也很方便，系統管理員只需兩盤磁帶，即系統全備份的磁帶與發生災難前一天的備份磁帶，就可以將系統完全恢復。
映像備份
映像備份(Image copies)不壓縮、不打包、直接COPY獨立文件(數據文件、歸檔日誌、控制文件)，類似操作系統級的文件備份。而且只能COPY到磁碟，不能到磁帶。
差異備份
復制自上一次普通備份或增量備份以來被創建或更改的文件的備份。它不將文件標記為已經備份(換句話說，沒有清除存檔屬性)。如果您要執行普通備份和差異備份的組合，則還原文件和文件夾將需要上次已執行過普通備份和差異備份。
SAN
SAN(Storage Area Network―存儲區域網路)一類專門用於提供企業商務數據或運營商數據的存儲和備份管理的網路。因為是基於網路化的存儲，SAN比傳統的存儲和備份技術擁有更大的容量和更強的性能。通過專門的存儲管理軟體，可以直接在SAN里的大型主機、伺服器或其它服務端電腦上添加硬碟和磁帶設備。現在大多數的SAN是基於光纖信道交換機和集線器的。通常SAN被配置成網路的後端部分，存在於數據中心或者伺服器場之後
Failover(故障恢復
Failover(故障恢復)：功能相當的系統組件替代故障組件的一種自動替代系統。經常使用於連接到相同存儲設備和主機計算機的智能控制器。如果其中之一的控制器故障，故障恢復開始啟用，其他正常的控制器將負擔其I/O工作。
備份記錄
備份記錄(plicated record)文件記錄的復製品。保存在文件庫中，與原文件分開存放，是為了防止關鍵性文件或數據丟失而備制的。也稱復制記錄。
備份集
備份集(Backup sets)顧名思義就是一次備份的集合，它包含本次備份的所有備份片。一個備份集根據備份的類型不同，可能構成一個完全備份或增量備份。
Backup(備份)
Backup(備份)：存儲在非易失性存儲介質上的數據集合，這些數據用來進行原始數據丟失或者不可訪問條件下的數據恢復。為了保證恢復時備份的可用性，備份必須一致性狀態下通過拷貝原始數據來實現。
容錯
容錯：系統在其某一組件故障時仍繼續正常工作的功能。容錯功能一般通過冗餘組件設計來實現。
iSCSI
iSCSI：連接到一個TCP/IP網路的直接定址的存儲庫，通過塊I/O SCSI指令對其進行訪問。ISCSI是一種基於開放的工業標准，通過它可以用TCP/IP對SCSI(小型計算機系統介面--一種數據傳輸的公共協議)指令進行封裝，這樣就可以使這些指令能夠通過基於IP(乙太網或千兆位乙太網)「網路」進行傳輸。這一標準的目的是允許使用現有的乙太網網路傳輸SCSI指令和數據，而這一過程完全不依賴於地點。對這一產品的另外一種描述是，它是連接到TCP/IP網路的存儲，但可以使用與DAS和SAN存儲一樣的I/O指令對其進行訪問。