『壹』 亞馬遜雲科技的雲存儲,最應該知道的有這三點
傳統存儲在以各種方式對接公有雲生態,公有雲的雲上服務類型也在不斷完善,作為企業信息化負責人要做的是更多地了解公有雲,然後,考慮如何充分利用公有雲的優勢。
本文通過介紹亞馬遜雲 科技 存儲服務的三個關鍵點,帶您認識雲存儲的現狀。
正文:
乘著互聯網產業的春風,雲存儲在過去近二十年走過了可遇不可求的發展歷程。也讓從90年代開始,就一直坐著冷板凳,負責數據歸檔的對象存儲,一躍成為整個互聯網數據的基石。
如今,絕大部分互聯網上可訪問的數據都靠對象存儲來存,偶爾曝出的數據泄露事件也大多都跟對象存儲有關,當然,問題不在於對象存儲本身。
從2006年,亞馬遜雲 科技 的對象存儲服務Amazon S3發布,到現在,算起來也有十六年的時間了,這也是亞馬遜雲 科技 推出的第一款雲服務。
從市場表現來看,Amazon S3是非常成功的,前兩年有人推測說,亞馬遜雲 科技 在存儲方面的營收規模非常大,甚至被稱作是全球最大的存儲公司,Amazon S3無疑是功勞最大的一個。
有人說,許多亞馬遜雲 科技 用戶使用的第一個產品就是Amazon S3對象存儲,在所有亞馬遜雲 科技 的用戶案例,在所有技術文檔里,Amazon S3的出鏡率都非常高。
雲上原生存儲Amazon S3的主線任務:不斷降低成本
如果亞馬遜雲 科技 的用戶沒用過Amazon S3,就好比去包子鋪吃飯沒點包子,光顧燒烤店沒吃烤串一樣,令人費解。
Amazon S3的易用性高、可用性高,開發者很喜歡,Amazon S3幾乎不丟數據的可靠性,穩定性也很高,運維管理人員很喜歡,Amazon S3在互聯網應用場景被普遍應用。
如今,Amazon S3上存著超過100萬億個對象,每秒需要處理上千百萬次請求。
Amazon S3一開始解決了可靠性和可用性以及安全方面的基本問題,性能也一直在提升,多年看下來,最大的工作重點就是不斷降低成本。
亞馬遜雲 科技 大中華區產品部總經理 陳曉建介紹稱,同樣存儲一份數據,如果2006年需要100塊錢,而在2022年就只需要大概15塊錢,16年間,Amazon S3的存儲成本降低了大約7倍。
2021年12月,亞馬遜雲 科技 宣布在全球九大區域,將Amazon S3 Standard In Frequent Access和Amazon S3 One Zone In Frequent Access的價格降低了31%。
Amazon S3存儲分了八個層級。
對於需要經常訪問的數據,首選標准版的Amazon S3,它具有毫秒級的訪問表現,而不太經常訪問的數據就選Amazon S3 Standard-IA上,相較於前者能節省大概40%的費用。
而對於那些很少訪問的數據,則可以選擇放在Amazon S3 Glacier DeepArcihve上,它的成本非常低,大約1美刀1個TB,但代價是,想把數據拿回來就得多等等,大概需要12到48個小時。
有人覺得這等的時間也太長了,於是,亞馬遜雲 科技 又推出了Amazon S3 Glacier Flexible Retrieval,只需要等上幾分鍾到幾小時。
就沒有一種,既可以便宜,訪問性能又高的存儲嗎?還真有。
這就是Amazon S3 Glacier Instant Retrieval,它是最新的一個存儲層級,拿回數據的速度是毫秒級的,成本與Amazon S3 Glacier相當,適合每季度才訪問一次、又需要毫秒級取回的海量數據。
另外,Amazon S3 One Zone-IA的成本也很低,顧名思義,數據只存在單個可用區上,而其他S3存儲的數據都在多個可用區上存著好幾分,相比之下,理論上丟數據的風險高了些。
最後,出於合規的要求,用戶有些數據不能上雲,亞馬遜雲 科技 可以提供Amazon Outposts,把雲的硬體放到了用戶的數據中心裡。使用Amazon S3 on Outposts,就像在雲上使用S3一樣。
總的來說,Amazon S3的存儲層級還是挺多的,但問題是,這給選型和管理也帶來了負擔。
為此,亞馬遜雲 科技 推出了Amazon S3 Intelligent-Tiering(智能分層),它會根據對象被訪問的次數在多個存儲層級間進行自動化遷移。
如果不能確定要選什麼或者存儲需求會變,那就選它,它不僅能解除選擇困難症,還能避免用戶自行管理數據分層的麻煩。
一家在東南亞和北美市場非常有影響力的互聯網公司,在亞馬遜雲 科技 上存放了大約幾十PB的數據,原本主要使用的是Amazon S3 Standard—IA,在使用Amazon S3智能分層後,沒有進行任何額外操作,就將存儲成本降低了62%。
亞馬遜雲 科技 最早在2018年就推出了Amazon S3智能分層功能,如今,Amazon S3智能分層已經涵蓋了Amazon S3家族的幾乎所有存儲類別,最多可節省68%的成本。
不僅如此,如今數據分層還拓展到文件存儲Amazon EFS,Amazon EFS提供四種文件存儲等級,數據分層能節省高達72%的存儲成本。
打通雲應用與傳統應用的隔閡:靠多種文件存儲
如果說,對象存儲是雲存儲的標配的話,那文件存儲就是雲存儲連接本地存儲的橋梁。
如今常見的應用分為兩類。
一類是雲原生的現代化應用,也就是在雲上開發的、充分利用雲架構優勢的應用,比如電商、 游戲 、社交媒體等平台。對應需要的存儲,大部分是對象存儲Amazon S3來滿足,少部分需要文件存儲Amazon EFS。
另一類是傳統企業應用,它誕生在公有雲之前,常見的有高性能計算、EDA、視頻渲染等場景,通常由本地的文件存儲系統,比如NAS來支撐的,為提升安全性和可靠性,通常都帶有快照、鏡像、遠程復制等功能特性。
這類工作負載並沒有根據雲架構的特點來設計,如果強行上雲,不僅需要調整應用本身,而且還可能出現兼容性的問題,為了避免此類問題,亞馬遜雲 科技 推出了FSx文件存儲家族。
從2018年開始,陸續推出了面向Windows環境的Amazon FSx for Windows,面向高性能計算場景的Amazon FSx for Lustre,面向大數據分析場景推出了Amazon FSx for OpenZFS。
金風慧能採用了亞馬遜雲 科技 構建HPC高性能計算系統,其中使用了Amazon FSx for Lustre共享存儲系統,不僅使氣象預測系統性能提升了10%,氣象計算時間縮短了1/3,還將成本降低了70%,運維復雜度也大大降低。
此外,還與知名存儲廠商NetApp合作推出了Amazon FSx for NetApp ONTAP,把NetApp的經典NAS文件存儲系統NetApp ONTAP放到了公有雲上。
NetApp在2015年就提出了Data Fabric的概念,大意就是想要實現數據在雲上和雲下的自由流動,是比較早積極擁抱混合雲的存儲廠商之一。
與一些存儲廠商的雲上託管服務不同,Amazon FSx for NetApp ONTAP沒有刪減任何功能,它是雲上唯一完整且全託管的NetApp ONTAP文件存儲系統,能夠無縫地跟企業本地的ONTAP系統對接,所以,用戶的IT系統不需要做任何改動,就能使用雲上服務。
2019年,NetApp與聯想成立合資公司——聯想凌拓,聯想凌拓在中國區提供相關服務,聯想凌拓產品管理與營銷高級總監林佑聲表示,從發布到現在,Amazon FSx for NetApp ONTAP得到了非常多客戶的認可,包括金融、醫療、石油以及高 科技 行業客戶。
嘉里物流原本是本地存儲NetApp ONTAP的用戶,隨著業務全球化發展,在數據擴容以及數據共享方面碰到的問題越來越多,通過使用亞馬遜雲 科技 提供的Amazon FSx for NetApp ONTAP,將數據從本地遷到雲上,解決了這些問題。
上雲之後,不僅可以使用原來NetApp ONTAP自帶的快照和備份等功能,同時,還可以使用亞馬遜雲 科技 遍布全球的數據中心,實現跨區域的災備。
補足數據保護方面的短板:Amazon Backup
一直以來,雲存儲被詬病的點還在於缺少數據災備功能,在如何維持業務連續性方面有一些爭議,而亞馬遜雲 科技 正在試著消除這一顧慮,這就是Amazon Backup。
由於缺少與業務價值的強關聯性,數據保護經常容易被忽視,同時,由於數據保護系統本身很復雜,合規的要求還特別多,實踐起來也特別麻煩,所以,數據保護的實踐相對落後。
可能也是基於這樣的考慮,亞馬遜雲 科技 的數據保護服務Amazon Backup才特別喜歡強調「一站式」「操作簡單」的特點,讓用戶知道,數據保護也沒有那麼麻煩。
於是我們看到,Amazon Backup能覆蓋旗下的幾乎所有存儲產品,包括塊存儲(Amazon EBS)、對象存儲、文件存儲、資料庫,以及計算和存儲網關等相關產品。
Amazon Backup的操作比較簡單,通過圖形的界面即可完成大部分操作,用戶還可以通過預設的策略進行自動化的備份,降低手動備份帶來的問題。
安全合規的問題讓許多用戶頭疼,Amazon Backup深度集成了亞馬遜雲 科技 自帶的KMS數據加密服務,整個備份操作許可權、數據訪問許可權都可以用IAM進行細顆粒度監控,滿足個人信息安全規范、信息安全等級保護等方面的合規要求。
Amazon Backup避免讓數據保護帶來太多的成本負擔,因此也用上了智能分層技術,用戶通過冷熱分層策略可以有效降低約75%的成本。
澳大利亞石油天然氣的供應商Santos要對Amazon EBS塊存儲做備份,原本都是用手動備份的方案,但隨著業務量的發展,備份的出錯率越來越高,成功率越來越低。
而在用了Amazon Backup後,平均備份任務用時和運營成本均有大幅降低,備份成功率到了100%,而且還完全做到企業數據合規。
結束語
確實如陳曉建所言,亞馬遜雲 科技 存儲服務已經成為IT行業的「水」和「電」,讓各行各業的業務都能從存儲服務中獲得價值。
亞馬遜雲 科技 的存儲服務類型和存儲的相關實踐都非常有代表性,而且,很多做法已經成了上雲的參考實踐,企業用戶應該多少了解亞馬遜雲 科技 的雲存儲,特別是有上雲打算的企業。
當然,上雲帶來的便捷和靈活,穩定性和安全性,以及對運維的解放都很吸引人。
還有顧慮?據我個人了解,亞馬遜雲 科技 非常在意企業在雲上的成功和成本節省,不僅會幫企業不斷優化。除此之外,市場上有一些專門的服務,幫助企業做規劃實施,讓你充分利用雲的優勢。
『貳』 想問下亞馬遜雲科技有哪些功能是永久免費的
很多啊,比如Amazon DynamoDB資料庫,提供快速靈活的NoSQL資料庫服務,它可以在任何規模下實現個位數毫秒級的性能,提供內置安全性、連續備份、自動多區域復制、內存緩存和數據導出等功能。它有25GB的儲存空間,和每月最多2億次讀寫請求。還有AWS Lambda計算服務,它可以運行幾乎任何類型的應用程序和後端服務代碼。還有很多永久免費的功能可以使用,都會無限期供應給亞馬遜雲科技的用戶。
『叄』 亞馬遜官宣將停止支持雲存儲服務
亞馬遜官宣將停止支持雲存儲服務
亞馬遜官宣將停止支持雲存儲服務,Amazon Drive 雲存儲服務在 2011 年 3 月推出上線,距今超過 11 年,亞馬遜官宣將停止支持雲存儲服務。
亞馬遜官宣將停止支持雲存儲服務1
日前亞馬遜方面宣布,自 2023 年 12 月 31 日起將不再支持亞馬遜雲存儲服務(Amazon Drive),屆時訪問將被完全切斷,其上傳服務將在明年 1 月 31 日起不再提供,適用於 Android 和 iOS 的 APP 也將於 2022 年 10 月 31 日下架。
同時,亞馬遜方面表示," 我們將繼續為客戶提供使用亞馬遜相冊(Amazon Photos)安全備份、共享和整理照片及視頻的能力 "。但是對於所有非圖片或視頻的文件,用戶則必須自行下載。
公開資料中顯示,亞馬遜雲存儲服務早在 2011 年 3 月就已推出,並作為 " 亞馬遜用戶備份文件的安全雲存儲服務 ",提供 5GB 的免費存儲空間以及適用於 Android、iOS 和 Web 的應用。至於亞馬遜為何在 11 年後決定停用該服務,官方所給出的'解釋是," 我們正藉此機會更全面地專注於亞馬遜相冊,為客戶提供專門的照片和視頻存儲解決方案。"
亞馬遜方面建議用戶可將相應文件遷移到亞馬遜相冊里,這一服務可提供 100GB、1TB 和 2TB 存儲,價格分別為 1.99 美元 / 月、6.99 美元 / 月和 11.99 美元 / 月。如用戶想取消自己的雲存儲服務訂閱,任何時間都可進入到 " 管理存儲計劃 " 的頁面,並取消相關訂閱。
亞馬遜官宣將停止支持雲存儲服務2
7 月 30 日,亞馬遜陸續給 Amazon Drive 用戶發出通知郵件,宣布服務將在 2023 年 12 月 31 日結束,屆時官方將刪掉用戶留在 Amazon Drive 里的所有文件。
Amazon Drive 雲存儲服務在 2011 年 3 月推出上線,距今超過 11 年,它提供了 5GB 的免費存儲空間,也支持 iOS、Android 等多個系統。尤其有 AWS 背書,亞馬遜家的雲存儲在安全性和穩定性等各方面都讓用戶有很高的預期。
但即便這樣,這個免費午餐也要結束了。Amazon Drive 在 iOS 和 Android 這邊的 app 今年 10 月 31 日就會下架,明年 1 月 31 日開始 Amazon Drive 將不再支持新的上傳。
亞馬遜明確地期待用戶轉移去 Amazon Photos(" 我們藉此機會更全面地專注於 Amazon Photos"),這項服務只支持存儲圖片和視頻。目前 Amazon Drive 里的圖片和視頻也已經自動存到了 Amazon Photos。
Amazon Photos 的免費的部分還是 5GB 空間,付費的話,100GB、1TB 和 2TB 分別是每月 1.99、6.99 和 11.99 美元。如果是 Prime 會員的話就都包括在裡面了——會有免費無限量、全解析度的照片存儲和 5GB 視頻存儲空間。
當然 Prime 會員並不便宜,今年亞馬遜還上調了價格,美國 Prime 會員年費是 139 美元,按月的話每月是 14.99 美元(中國的 Prime 會員比較特殊,年費和季度費用分別是 288 元和 79 元,不過權益也少非常多)。
不過對於國內用戶來說,這個影響應該是不大的,Amazon Drive 國內用戶並不多,且亞馬遜面向國內 C 端用戶的服務都已基本停止(Kindle 中國業務將在明年 6 月 30 日結束運營,之後面向 C 端用戶的服務將只留下海外購)。
近幾年國內外雲存儲服務都大量關停,這也是個明確的趨勢,從國內服務來說,安全性、版權問題以及監管等是主要因素,而整體來看,這也是個費力不討好的業務。
亞馬遜官宣將停止支持雲存儲服務3
亞馬遜宣布將結束 Amazon Drive 服務,同時也為 Amazon Drive 用戶提供足夠時間來轉向替代方案。
Amazon Drive 雲存儲服務於 2011 年 3 月推出,作為 " 亞馬遜客戶備份文件的安全雲存儲服務 ",提供 5GB 免費存儲空間以及適用於 Android、iOS 和 Web 的應用程序。
亞馬遜在談到 Amazon Drive 停止支持決定時表示:
" 我們正藉此機會更全面地專注於 Amazon Photos ,為客戶提供專門的照片和視頻存儲解決方案。"
亞馬遜發送給客戶的電子郵件中提到:
" 我們將繼續為客戶提供使用 Amazon Photos 安全備份、共享和組織照片和視頻的能力。"
但是,對於照片和視頻以外的文件,用戶必須從網站手動下載它們。如果需要檢索更大的文件,亞馬遜還推薦了適用於 Windows 和 macOS 的 Amazon Photos 桌面應用程序。
Amazon Drive 服務將在 2023 年 12 月 31 日停止支持,但 2023 年 1 月 31 日不再支持新的上傳,並且適用於 Android 和 iOS 的 Amazon Drive 應用程序將於 2022 年 10 月 31 日被刪除下架。如果不想丟失數據,建議用戶遷移到 Amazon Photos,該服務提供 100GB、1TB 和 2TB 存儲,價格分別為每月 1.99 美元、每月 6.99 美元和每月 11.99 美元。
『肆』 快照與備份有什麼區別快照是備份的其中一種么還是兩種不同的概念
快照是數據存儲的某一時刻的狀態記錄;備份則是數據存儲的某一個時刻的副本。這是兩種完全不同的概念。
快照和備份的區別:
快照和雲硬碟備份均是重要的數據容災手段,兩者存儲方案不同。
快照數據與雲硬碟數據存儲在一起,可以支持快速備份和恢復。
備份數據則存儲在對象存儲(OBS)中,可以實現在雲硬碟存儲損壞情況下的數據恢復。
快照當前不支持設置自動創建。備份支持設置自動創建,您可以指定備份策略,系統會根據策略自動對雲硬碟進行數據備份。
存儲快照的實現原理
目前,快照的實現方式均由各個廠商自行決定,但主要技術分為2類,一種是寫時拷貝COW(Copy On Write),另一種,是寫重定向ROW(Redirect On Write)。
寫時拷貝COW(Copy-On-Write),也稱為寫前拷貝。
創建快照以後,如果源卷的數據發生了變化,那麼快照系統會首先將原始數據拷貝到快照卷上對應的數據塊中,然後再對源卷進行改寫。
『伍』 三十五、ElasticsearchI基於snapshot+ Hadoop hdfs進行數據備份和恢復
一、es生產集群備份恢復之基於snapshot+hdfs進行數據備份
1、es集群數據備份
任何一個存儲數據的軟體,都需要定期的備份數據。es replica提供了運行時的高可用保障機制,可以容忍少數節點的故障和部分數據的丟失,但是整體上卻不會丟失任何數據,而且不會影響集群運行。但是replica沒法進行災難性的數據保護,比如說機房徹底停電,所有機器全部宕機,等等情況。對於這種災難性的故障,我們就需要對集群中的數據進行備份了,集群中數據的完整備份。
要備份集群數據,就要使用snapshot api。這個api會將集群當前的狀態和數據全部存儲到一個外部的共享目錄中去,比如NAS,或者hdfs。而且備份過程是非常智能的,第一次會備份全量的數據,但是接下來的snapshot就是備份兩次snapshot之間的增量數據了。數據是增量進入es集群或者從es中刪除的,那麼每次做snapshot備份的時候,也會自動在snapshot備份中增量增加數據或者刪除部分數據。因此這就意味著每次增量備份的速度都是非常快的。
如果要使用這個功能,我們需要有一個預先准備好的獨立於es之外的共享目錄,用來保存我們的snapshot備份數據。es支持多種不同的目錄類型:shared filesystem,比如NAS;Amazon S3;hdfs;Azure Cloud。不過對於國內的情況而言,其實NAS應該很少用,一般來說,就用hdfs會比較多一些,跟hadoop這種離線大數據技術棧整合起來使用。
2、創建備份倉庫
(1)創建和查詢倉庫的命令
這里用了shared filesystem作為倉庫類型,包括了倉庫名稱以及倉庫類型是fs,還有倉庫的地址。這個裡面就包含了倉庫的一些必要的元數據了。可能還有其他的一些參數可以配置,主要是基於我們的node和網路的性能來配置。max_snapshot_bytes_per_sec,這個參數用於指定數據從es灌入倉庫的時候,進行限流,默認是20mb/s。max_restore_bytes_per_sec,這個參數用於指定數據從倉庫中恢復到es的時候,進行限流,默認也是20mb/s。假如說網路是非常快速的,那麼可以提高這兩個參數的值,可以加快每次備份和恢復的速度,比如下面:
創建一個倉庫之後,就可以查看這個倉庫的信息了:GET /_snapshot/my_backup,或者是查看所有的倉庫,GET /_snapshot/_all。可能返回如下的信息:
(2)基於hdfs創建倉庫
首先先要在es插件目錄安裝repository-hdfs的插件:bin/elasticsearch-plugin install repository-hdfs,必須在每個節點上都安裝,然後重啟整個集群。
在3個hdfs node上,都加入hdfs-site.xml,禁止許可權檢查,如果要修改這個配置文件,要先在/usr/local/hadoop/sbin,運行./stop-dfs.sh,停止整個hdfs集群,然後在3個node上,都修改hdfs-site.xml,加入下面的配置,禁止許可權的檢查
hdfs snapshot/restore plugin是跟最新的hadoop 2.x整合起來使用的,目前是hadoop 2.7.1。所以如果我們使用的hadoop版本跟這個es hdfs plugin的版本不兼容,那麼考慮在hdfs plugin的文件夾里,將hadoop相關jar包都替換成我們自己的hadoop版本對應的jar包。即使hadoop已經在es所在機器上也安裝了,但是為了安全考慮,還是應該將hadoop jar包放在hdfs plugin的目錄中。
安裝好了hdfs plugin之後,就可以創建hdfs倉庫了,用如下的命令即可:
(3)驗證倉庫
在課程演示中,最好都是用root用戶去演示,一般來說就夠了,因為在不同的公司里,你可能linux用戶管理,許可權,都不太一樣
專門去建一套用戶和授權去演示,不太合適
如果一個倉庫被創建好之後,我們可以立即去驗證一下這個倉庫是否可以在所有節點上正常使用。verify參數都可以用來做這個事情,比如下面的命令。這個命令會返回一個node列表,證明那些node都驗證過了這個倉庫是ok的,可以使用的
先停止整個es集群,然後在3個節點上,都加入下面的配置,然後用elasticsearch賬號重啟整個es集群
3、對索引進行snapshotting備份
(1)對所有open的索引進行snapshotting備份
一個倉庫可以包含多分snapshot,每個snapshot是一部分索引的備份數據,創建一份snapshot備份時,我們要指定要備份的索引。比如下面這行命令:PUT _snapshot/my_hdfs_repository/snapshot_1,這行命令就會將所有open的索引都放入一個叫做snapshot_1的備份,並且放入my_backup倉庫中。這個命令會立即返回,然後備份操作會被後台繼續進行。如果我們不希望備份操作以後台方式運行,而是希望在前台發送請求時等待備份操作執行完成,那麼可以加一個參數即可,比如下面這樣:PUT _snapshot/my_backup/snapshot_1?wait_for_completion=true。
另一種方式
curl -XPUT ' http://elasticsearch02:9200/_snapshot/my_hdfs_repository/snapshot_1'
(2)對指定的索引進行snapshotting備份
默認的備份是會備份所有的索引,但是有的時候,可能我們不希望備份所有的索引,有些可能是不重要的數據,而且量很大,沒有必要佔用我們的hdfs磁碟資源,那麼可以指定備份少數重要的數據即可。此時可以使用下面的命令去備份指定的索引:
ignore_unavailable如果設置為true的話,那麼那些不存在的index就會被忽略掉,不會進行備份過程中。默認情況下,這個參數是不設置的,那麼此時如果某個index丟失了,會導致備份過程失敗。設置include_global_state為false,可以阻止cluster的全局state也作為snapshot的一部分被備份。默認情況下,如果某個索引的部分primary shard不可用,那麼會導致備份過程失敗,那麼此時可以將partial設置為true。
而且snapshotting的過程是增量進行的,每次執行snapshotting的時候,es會分析已經存在於倉庫中的snapshot對應的index file,然後僅僅備份那些自從上次snapshot之後新創建的或者有過修改的index files。這就允許多個snapshot在倉庫中可以用一種緊湊的模式來存儲。而且snapshotting過程是不會阻塞所有的es讀寫操作的,然而,在snapshotting開始之後,寫入index中的數據,是不會反應到這次snapshot中的。每次snapshot除了創建一份index的副本之外,還可以保存全局的cluster元數據,裡麵包含了全局的cluster設置和template。
每次只能執行一次snapshot操作,如果某個shard正在被snapshot備份,那麼這個shard此時就不能被移動到其他node上去,這會影響shard rebalance的操作。只有在snapshot結束之後,這個shard才能夠被移動到其他的node上去。
4、查看snapshot備份列表
一旦我們在倉庫中備份了一些snapshot之後,就可以查看這些snapshot相關的詳細信息了,使用這行命令就可以查看指定的snapshot的詳細信息:GET _snapshot/my_backup/snapshot_2,結果大致如下所示。當然也可以查看所有的snapshot列表,GET _snapshot/my_backup/_all。
5、刪除snapshot備份
如果要刪除過於陳舊的snapshot備份快照,那麼使用下面這行命令即可:DELETE _snapshot/my_backup/snapshot_2。記住,一定要用api去刪除snapshot,不要自己手動跑到hdfs里刪除這個數據。因為snapshot是增量的,有可能很多snapshot依賴於底層的某一個公共的舊的snapshot segment。但是delete api是理解數據如何增量存儲和互相依賴的,所以可以正確的刪除那些不用的數據。如果我們自己手工進行hdfs文件刪除,可能導致我們的backup數據破損掉,就無法使用了。
6、監控snapshotting的進度
使用wait_for_completion可以在前台等待備份完成,但是實際上也沒什麼必要,因為可能要備份的數據量特別大,難道還等待1個小時??看著是不太現實的,所以一般還是在後台運行備份過程,然後使用另外一個監控api來查看備份的進度,首先可以獲取一個snapshot ID:GET _snapshot/my_backup/snapshot_3。如果這個snapshot還在備份過程中,此時我們就可以看到一些信息,比如什麼時候開始備份的,已經運行了多長時間,等等。然而,這個api用了跟snapshot一樣的線程池去執行,如果我們在備份非常大的shard,進度的更新可能會非常之慢。一個更好的選擇是用_status API,GET _snapshot/my_backup/snapshot_3/_status,這個api立即返回最詳細的數據。這里我們可以看到總共有幾個shard在備份,已經完成了幾個,還剩下幾個,包括每個索引的shard的備份進度:
7、取消snapshotting備份過程
如果我們想要取消一個正在執行的snapshotting備份過程,比如我們發現備份時間過於長,希望先取消然後在晚上再運行,或者是因為不小心誤操作發起了一次備份操作,這個時候就可以運行下面這條命令:DELETE _snapshot/my_backup/snapshot_3。也就是立即刪除這個snapshot,這個命令會去取消snapshot的過程,同時將備份了一半的倉庫中的數據給刪除掉。
curl -XDELETE ' http://elasticsearch02:9200/_snapshot/my_hdfs_repository/snapshot_1'
9、es生產集群備份恢復之基於snapshot+hdfs+restore進行數據恢復
1、基於snapshot的數據恢復
正經備份,一般來說,是在一個shell腳本里,你用crontab做一個定時去做增量備份。
那麼在es集群故障,導致數據丟失的時候,就可以用_restore api進行數據恢復了。比如下面這行命令:
POST _snapshot/my_hdfs_repository/snapshot_1/_restore。
文件中所有索引都全恢復。在某些場景下,我們想恢復一些數據但是不要覆蓋現有數據,用下面的命令即可恢復數據,並且進行重命名操作:
這個restore過程也是在後台運行的,如果要在前台等待它運行完,那麼可以加上wait_for_completion flag:POST
_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=true。
?wait_for_completion=true,等待它備份完成了以後,才會去執行下一條命令
restore過程只能針對已經close掉的index來執行,而且這個index的shard還必須跟snapshot中的index的shard數量是一致的。restore操作會自動在恢復好一個index之後open這個index,或者如果這些index不存在,那麼就會自動創建這些index。如果通過include_global_state存儲了集群的state,還會同時恢復一些template。
默認情況下,如果某個索引在恢復的時候,沒有在snapshot中擁有所有的shard的備份,那麼恢復操作就會失敗,比如某個shard恢復失敗了。但是如果將partial設置為true,那麼在上述情況下,就還是可以進行恢復操作得。不過在恢復之後,會自動重新創建足夠數量的replica shard。
此外,還可以在恢復的過程中,修改index的一些設置,比如下面的命令:
2、監控restore的進度
從一個倉庫中恢復數據,其實內部機制跟從其他的node上恢復一個shard是一樣的。如果要監控這個恢復的過程,可以用recovery api,比如:
GET restored_index_3/_recovery。
如果要看所有索引的恢復進度:GET /_recovery/。可以看到恢復進度的大致的百分比。
3、取消恢復過程
如果要取消一個恢復過程,那麼需要刪除已經被恢復到es中的數據。因為一個恢復過程就只是一個shard恢復,發送一個delete操作刪除那個索引即可,如果那個索引正在被恢復,那麼這個delete命令就會停止恢復過程,然後刪除已經恢復的 所有數據。
『陸』 亞馬遜ec2免費套餐每月流量限制是多少
網頁鏈接
每個月,AWS 免費使用套餐包括以下內容:
750 小時的Amazon EC2Linux 或 RHEL 或 SLES t2.micro 實例使用時間(配置為 1 GiB 的內存、32 位和 64 位平台支持),足夠整月持續運行*
750 小時的Amazon EC2Microsoft Windows Server t2.micro 實例使用時間(配置為 1 GiB 內存、32 位和 64 位平台支持),足夠小時以便每月持續運行*
750 小時的Elastic Load Balancer加上 15 GB 數據處理*
750 小時的Amazon RDS單可用區微型資料庫實例使用時間,可用於運行 MySQL、MariaDB、PostgreSQL、Oracle BYOL 或 SQL Server Express Edition,足夠整月持續運行資料庫實例。您還可以獲得 20GB 的資料庫存儲和 20GB 的備份存儲。*
750 小時的Amazon ElastiCache微型緩存節點使用時間 – 足夠用戶每月連續不間斷地運行。*
30 GB 的Amazon Elastic Block Storage(以任意方式對通用型 (SSD) 或磁性介質型進行組合),附加 200 萬次 I/O(採用 EBS 磁性介質)和 1 GB 快照存儲***
5 GB 的Amazon S3標准存儲,20000 個獲取請求以及 2000 放入請求。*
25 GB 的存儲容量、25 個讀取容量單位和 25 個寫入容量單位,足以使用Amazon DynamoDB處理每月高達 200M 的請求。**
25 個Amazon SimpleDB機器小時和 1 GB 存儲**
可免費啟動 1000 個Amazon SWF工作流執行。還可以免費使用總共 10000 活動任務、信號、定時器和標記,以及 30000 個工作流日。**
100 000 個Amazon Simple Queue Service請求**
可與Amazon Simple Notification Service配合使用的 100 000 個請求、100 000 HTTP 通知和 1 000 份電子郵件通知**
10 個Amazon CloudWatch指標、10 個警報和 1000000 個 API 請求**
50 GB 的數據傳出以及 2000000 個針對Amazon CloudFront的 HTTP 和 HTTPS 請求*
適用於所有 AWS 服務的共計 15GB 的帶寬傳出量
『柒』 AWS亞馬遜Redshift的特點功能介紹
Redshift即是AWS提供的一款:雲上數據倉庫服務
Redshift同我們前面使用的RDS一樣,是一個全託管的服務(非完全的server less,可以選擇集群數量和性能,但是無需管理)
Redshift同RDS一樣,只需要滑鼠點擊幾下,即可得到一款可用的高性能、高可靠的數據倉庫服務。
但是與RDS不同的是,Redshift可以選擇集群模式,也就是可以選擇Redshift底層,基於多少台硬體伺服器提供算力和存儲。
同時,從概念上也不同,我們列個表格來看一下Redshift和RDS的區別
那麼來看看Redshift有什麼特點。
Amazon Redshift 使用了多種創新技術,對於大小在 100GB 到 1PB 或更高的數據集,可以實現很高的查詢性能,並使用了列式存儲。Amazon Redshift 採用了大規模並行處理 (MPP) 數據倉庫架構,可以對 SQL 操作進行並行分布處理,以便利用所有可用資源。底層硬體支持高性能數據處理,使用本地連接的存儲以便盡可能增大 CPU 與驅動器之間的吞吐量,同時使用 10GigE 網狀網路以便盡可能增大節點之間的吞吐量。
僅需在 AWS 管理控制台中單擊幾下或通過一次簡單的 API 調用,您就能在性能或容量需求發生變化時,輕松更改雲數據倉庫中的節點數量或類型。
利用 Amazon Redshift,您只要用單個 160GB DC2.Large 節點就可開始,並能一路擴展到使用 16TB DS2.8XLarge 節點的 1PB 或者更多壓縮用戶數據。 調整大小時,Amazon Redshift 可將您現有的集群置於只讀模式,並預置一個您選定大小的新集群,然後將數據從您的舊集群並行復制到您的新集群。在預置新集群的同時,您可繼續對您的舊集群進行查詢。一旦您的數據被復制到新集群,Amazon Redshift 會自動將查詢重新定向至新集群,並移除舊集群。
Amazon Redshift 處理數據倉庫的管理、監控及擴展所需的所有工作,從監控集群運行狀況、備份到進行修補和升級。
在性能和容量需求發生變化時,您可以輕松調整集群大小。通過處理所有這些耗時耗力的任務,Amazon Redshift 使您得到了解脫並專注於您的數據和業務。
Amazon Redshift 的自動快照功能連續地將集群上的數據備份至 Amazon S3。備份是連續、遞增而自動的。
Amazon Redshift 按用戶定義的期間存儲您的快照,此期間可以是 1 到 35 天。您可在任何時候拍攝您自己的快照,這些快照利用所有現有的系統快照,並可保留到您明確地刪除它們時為止。
Redshift 還能將您的快照非同步復制到另一個區域的 S3 中進行災難恢復。一旦您刪除了某個集群,您的系統快照也將被移除,但您的用戶快照在您明確地刪除它們之前仍可使用。
您可通過 AWS 管理控制台或 Amazon Redshift API 使用任何系統快照或用戶快照來恢復您的集群。
系統元數據恢復後,您的集群就可供使用,並且您可在用戶數據在後台輸出時開始運行查詢。
Amazon Redshift 擁有多種能夠提高數據倉庫集群可靠性的功能。
所有寫入集群內節點的數據均會自動復制到集群內的其他節點,且所有數據會被連續備份至 Amazon S3。Amazon Redshift 會持續監控集群的運行狀況並會自動從出現故障的驅動器重新復制數據,並在必要時替換節點。
並且這一切完全無需用戶管理,AWS為您管理一切,用戶只需要關心業務開發即可。
藉助 Amazon Redshift,您可以配置防火牆規則,以控制對數據倉庫集群的網路訪問。您可以在 Amazon Virtual Private Cloud (Amazon VPC) 中運行 Amazon Redshift,將您的數據倉庫集群隔離在您自己的虛擬網路中。
Amazon Redshift 與 AWS CloudTrail 相集成,使您能夠對所有的 Redshift API 調用進行審計。Amazon Redshift 還會記錄所有的 SQL 操作,包括連接嘗試、查詢和資料庫變動。您可以使用 SQL 查詢在系統表格中訪問這些記錄,或選擇將其下載到 Amazon S3 上的某個位置。
Amazon Redshift 是一種 SQL 數據倉庫解決方案,使用了行業標準的 ODBC 和 JDBC 連接。可以從控制台的連接客戶端選項卡中下載我們的定製 JDBC 和 ODBC 驅動程序。
Amazon Redshift 與其他 AWS 服務相集成,並內置了命令將數據從 Amazon S3、Amazon DynamoDB 或 Amazon EC2 實例以及使用 SSH 的本地伺服器中並行載入到每個節點。Amazon Kinesis 還集成了 Amazon Redshift 作為數據目標。
『捌』 aws日本伺服器免費嗎
現在很多雲平台都有提供免費試用服務,比如Amazon AWS 12 個月免費套餐、Google GCP $300 Free Tier、Microsoft Azure $300 Free Tier、CenturyLink $500 Free Tier 等等,當然了,還有其他的雲廠商如阿里雲也有免費體驗活動,這里就不一一列出來了。
一、免費額度及正常定價
1、AWS
I、免費額度
Amazon AWS 有分國內和國外兩個版本,這里說的是國外版本,AWS 在日本、韓國、新加坡等亞洲區域擁有自建機房和骨幹網,國內全程 NTT 線路。其免費體驗的注冊地址是:
AWS 免費套餐。
主要免費項目有:
Amazon EC2 750 小時/每月 Linux、RHEL、Windows、SLES t2.micro 實例使用時間;
Amazon S3 5GB 標准存儲;
Amazon EC2 Container Registry 500M/月;
Amazon CloudFront 50GB 傳出數據;
Amazon Elastic Block Storage 最大 30GB 以及 1G 快照;
所有 AWS 服務的共計 15GB 的帶寬傳出;
總結就是,可以開一台 Windows 或 Linux 虛擬機,配置為內存 1G,硬碟最大 30G,月流量 15GB。
II 、正常定價
為避免不需要的支出,一般選擇的是 Amazon AWS 按需計費,此服務按小時結算,以免費額度的套餐內容為例:
AWS EC2 t2.micro 實例:$0.016/小時(約 $11.9/月);
網路入站數據:免費;
區域內入站數據:$0.01/GB(一般產生於有多個實例);
出口數據:前 1GB /月免費,10TB 以內 $0.14/GB;
彈性 IP:已關聯實例免費,未關聯 $0.005/小時;
一般使用 EC2 的都是大企業客戶,主要是因為其相對穩定,個人客戶可以考慮選擇 LightSail ,CPU、內存、流量、硬碟打包銷售,最低每月僅需 $3.5,首月還提供免費試用。
2、GCP
I、免費額度
GCP 全稱 Google Cloud Platform,谷歌旗下雲產品,目前在台灣、香港、日本、新加坡等亞洲區域已有機房,總的來說對大陸會更友好些(移動全程繞美國,聯通部分繞美國,電信直連)。其免費體驗注冊地址是:
GCP Free Tier。
GCP 除信用卡外對免費體驗限制不大,提供的 $300 可用於全部項目,包括主機、流量、CDN 等等,按使用量按分鍾計費抵扣。其中以下項目是在一年體驗期結束後仍然免費的(注意不含流量費):
每月 1 個 f1-micro 實例(僅限美國部分區域);
30 GB/月 硬碟,5 GB/月 快照;
5 GB/月 區域存儲(僅限美國部分區域);
1 GB 存儲空間的源碼託管;
II 、正常定價
GCP 與 AWS 一樣是按需計費,但是以分鍾為結算單位(AWS 按時),並且每個機房的定價都是不一樣的。以台灣機房為例:
f1-micro VM 實例:$0.009/小時(約 $4.6/月);
入口數據:免費(指網路到實例);
出口至同一區域產品數據:免費;
出口到中國境內數據:1TB 以內 $0.46/GB;
彈性 IP:已關聯實例免費,未關聯 $0.01/小時;3、Azure
I、標准試用
Azure 提供 $200 一個月的標准試用Azure 國際版免費試用套餐目前提供 1+12 個月免費套餐(即首月 $200 試用 + 12 個月免費套餐,不含國內世紀互聯代理的 Azure,注冊需提供銀行卡、手機號)
免費套餐包含(不含首月,首月 $200 以內都免費):
750 小時 B1S 虛擬機 (Windows 或 Linux 各一台);
64G x2 託管磁碟;
15G 出站數據;
250G SQL 資料庫;
需要注意的是,12 個月免費套餐是在 $200 結束後開始,需要手動升級成即用即付訂閱才能享受。這里也給大家提個醒,升級後超出免費套餐就會扣錢了(與 AWS 一致),而且必須嚴格執行免費套餐的內容,比如磁碟免費的是高級 SSD P6 64GB,你開 32 GB 的雖然容量小了,但 Azure 正常收費!
2019年更新:免費套餐建議通過官方的免費服務開通,不要自己在虛擬機里直接創建,這樣就可以避免莫名其妙被收費了,可以開 Linux 和 Windows 各一個虛擬機,位置可選東南亞、美國東部、美國西部2、美國中部、西歐五個數據中心。
II、學生試用
Azure 提供 $100 一年的學生訂閱,注冊地址(無需銀行卡,概率需手機號驗證,IP 與地址及手機號碼不符無法通過,VOIP 手機號無法通過):
注冊地址
免費項目有:
標准試用的所有內容;
$100 無限制余額;
III、正常定價
Azure 同樣是按需計費,以最低配置(不同區域定價不同)為例:
A0 VM 實例:$0.017/小時(約 $13.39/月);
入口數據:免費;
出口至亞洲數據:前 5GB/月免費,10TB 以內 $0.12/GB;
其他標準定價參見官網說明;
Azure 學生訂閱定額 $100/年,如果只開標准免費 B1S 配置,每月大約有 74GB 流量可用。
三、總結
通過上面說明,相信大家對幾家平台的免費政策以及正常收費有了一定的了解,各家有各家的優勢,比如 Amazon AWS 日本機房、Google GCP 台灣機房、Microsoft Azure 香港機房對大陸友好,但也有各自的不足,比如 Amazon 流量少、Google 流量貴、Microsoft 申請難等等。大家在具體采購使用前,可以先通過各家雲平台提供的免費試用測試下,然後再評價是否符合需求。
『玖』 五大資料庫理念,讀懂亞馬遜雲科技的資料庫布局
1970 年,關系型資料庫之父 E.F.Codd 發表《用於大型共享資料庫的關系數據模型》論文,正式拉開資料庫技術發展序幕。以 Oracle、DB2、SQL Server 為代表的三大商業資料庫產品獨占鰲頭,隨後涌現出 MySQL、PostgreSQL 等為代表的開源資料庫 ,和以 Amazon RDS 等為代表的雲資料庫,拉開百花齊放的資料庫新序幕。
我們知道,雲計算十年為產業轉型升級提供了 歷史 性契機,但變革仍在進行,隨著雲計算的普及,資料庫市場發生根本性改變,雲廠商打破傳統商業資料庫的堡壘,成為資料庫領域全新力量。其中以連續六年入選 Gartner 領導者象限的亞馬遜雲 科技 為代表,我們一起探討:為什麼亞馬遜雲 科技 能始終保持其創新性?縱觀雲原生時代下,亞馬遜雲 科技 資料庫未來還有哪些更多的可能性?
01 面對四大資料庫發展趨勢,亞馬遜雲 科技 打造五大資料庫理念
後疫情時代下,加速了不少行業的業務在線化和數字化運營,企業對數據價值挖掘的需求越發強烈,亞馬遜雲 科技 大中華區產品部總經理顧凡詳細介紹其中四大趨勢:
一是伴隨互聯網、移動互聯網的發展,電商、視頻、社交、出行等新應用場景的興起,不僅數據量大,對數據實時性要求極高,傳統關系型資料庫無法滿足需求,因此驅動雲原生資料庫的出現。
二是開源資料庫的廣泛應用。
三是應用程序現代化對資料庫提出更高要求,期待資料庫擁有更高的性能、可擴展性、可用性以及降低成本,讓開發人員專注於核心業務的應用開發,不用關注和核心業務無關的代碼。
四是軟體架構歷經 PC、互聯網、移動互聯網,再到如今的萬物互聯時代,其中的迭代和轉型正在驅動資料庫選型的變化。
在此四大趨勢下,伴隨企業的業務量越來越大、越來越復雜,對資料庫的要求越來越高。亞馬遜雲 科技 洞察客戶需求,在打造雲上資料庫產品時提出五大理念:
一是專庫專用,極致性能;二是無伺服器,敏捷創新;第三是全球架構,一鍵部署;第四是平滑遷移,加速上雲;第五是 AI 賦能,深度集成。
02 歷經真實錘煉,五大資料庫理念,持續賦能企業數智轉型
顧凡表示,隨著數據爆炸式增長,微服務架構與 DevOps 愈發流行的今天,一個資料庫打天下的時代已然過去。我們需要在不同的應用場景下,針對不同的數據類型和不同的數據訪問特點,為開發者和企業提供專門構建的工具。
所以亞馬遜雲 科技 提出 第一個核心資料庫理念:專庫專用 。在此理念下,推出針對關系數據、鍵值數據、文檔數據、內存數據、圖數據、時許數據、分類賬數據、寬列等專門構建資料庫的產品家族。
這些資料庫產品均經歷過亞馬遜內部核心業務的真實錘煉,成績斐然:
亞馬遜電商當年是 Oracle 的客戶之一,隨著亞馬遜電商的應用重構和業務體量發展,亞馬遜電商決定將業務遷移到亞馬遜雲 科技 里。100 多個團隊參與這龐大的遷移工作中,將亞馬遜電商采購、目錄管理、訂單執行、廣告、財務系統、錢包、視頻流等關鍵系統全部從 Oracle 遷出來。2019 年,亞馬遜將存儲近 7500 個Oracle 資料庫中的 75 PB 內部數據遷移到多項亞馬遜雲 科技 的資料庫服務中,包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache,於是亞馬遜電商成為亞馬遜雲 科技 在全球的「第一大客戶」。
從 Oracle 切換到亞馬遜雲 科技 後,亞馬遜電商節省了 60% 成本,面向消費者端的應用程序延遲降低 40%,資料庫管理支出減少 70%。
以被譽為「亞馬遜雲 科技 歷史 上用戶數量增速最快的雲服務」Amazon Aurora 為例,其擁有科媲美高端商業資料庫的速度和可用性,還擁有開源資料庫的簡單性與成本效益,Amazon Aurora 讓客戶滿足「魚和熊掌兼得」需求。
據顧凡介紹,Amazon Aurora 可提供 5 倍於標准 MySQL 性能,3 倍於 PostgreSQL 吞吐量。同時提供高可用,可用區(AZ)+1的高可用,Global Databases 可完成跨區域災備。可擴展到 15 個只讀副本,成本只有商業資料庫的 1/10。
醫葯企業九州通為葯廠、供應商,搭建葯廠、供應商、消費者提供供應鏈鏈條。其 B2B 系統的業務特點是讀多寫少,受促銷活動、工作時間等影響,經常會出現波峰波谷落差較大的情況,讀寫比例在 7:2 或者 8:3。九州通採用 Amazon Aurora 後實現讀寫分離和按需擴展,整體資料庫性能提升 5 倍,TCO 降低 50%。實現了跨可用區部署、負載均衡、自動故障轉移、精細監控、按需自動伸縮等。
據權威機構預測,到 2022 年,75% 資料庫將被部署或遷移至雲平台。在這個過程中,亞馬遜雲 科技 是如何通過技術來幫助客戶加速應用上雲的?這離不開除了上述的「專庫專用」外,以下四大理念:
第二個理念是無伺服器、敏捷創新。 亞馬遜雲 科技 大中華區產品部數據類產品高級經理王曉野表示,企業業務總有波峰波谷之時,如何按照企業 80-90% 的業務峰值來規劃資料庫的存儲容量和計算資源的話,將給應用帶來一定的業務連續性的妥協和挑戰。因此大多數企業都是按照峰值留有餘地來選擇資料庫的計算資源,這將造成成本上的浪費。而 Serverless 資料庫服務可完成無差別的繁復工作和自動化擴展。
Amazon DynamoDB 是亞馬遜雲 科技 自研 Serverless 資料庫,其誕生最早可追溯到 2004 年,當時亞馬遜電商作為 Oracle 的客戶,盡管對於關系型資料庫在零售場景的需求並不頻繁,70% 均是鍵值類操作,此時倒逼亞馬遜電商思考:為什麼要把關系型資料庫這么重得使用?我們可以設計一款支持讀寫、可橫向擴展的分布式資料庫嗎?後來的故事大家都知道了,這款資料庫就是 Amazon DynamoDB,並在 2007 年發表論文,掀起業界 NoSQL 分布式資料庫技術創新大潮。
Amazon DynamoDB 可為大規模應用提供支持,支撐亞馬遜自身多個高流量網站和系統,如亞馬遜電商網站、亞馬遜全球 442 個物流中心等。在亞馬遜電商一年一度 Prime Day,光是針對DynamoDB API 的調用達到數萬億次,最高峰值請求達到每秒 8920 萬次。由此可見,DynamoDB 擁有高吞吐、擴展性、一致性、可預測響應延遲、高可用等優勢。
智能可穿戴設備廠商華米 科技 ,在全球 70 多個國家擁有近 1 億用戶。僅 2020 年上半年,其手錶出貨量超 174 萬台,截止到 2021 年 2 月,華米 科技 的可穿戴設備累計記錄步數是 151 萬步,累計記錄的睡眠時間是 128 億個夜晚,記錄心率總時長達 1208 億個小時。如此龐大的數據同時必須保證極高的安全性和低延遲相應,如何保證穩定性是巨大的挑戰。
DynamoDB 幫助華米 科技 在任何規模下都能提供延遲不超過 10 毫秒的一致響應時間。華米 科技 健康 雲的 P0 和 P1 級別故障減少了約 30%,總體服務可用性提升了 0.25%,系統可用性指標達到 99.99%,為華為 科技 全球化擴展提供了有力的支撐。
最新無服務資料庫產品是 Amazon Aurora Serverless V2 提供瞬間擴展能力,真正把擴展能力發揮到極致,在不到一秒的時間內,將幾百個事務擴展到數十萬的級別。同時在擴展時每一次調整的增量都是非常精細化的去管理,如果按照峰值來規劃資料庫資源,可實現大概90%的成本節省。目前 Amazon Aurora Serverless V2 在全球實現預覽。
第三個理念是全球架構、一鍵部署。 在全球化的今天,如何支撐全球客戶的業務擴展連續性、一致性、以最低延遲帶給到終端客戶上,對資料庫提出新的挑戰。
亞馬遜雲 科技 提供 Amazon Aurora 關系型資料庫Global Database、Amazon DynamoDB、Amazon ElastiCache 內存資料庫、Amazon DocumentDB 文檔資料庫都能利用亞馬遜雲 科技 的骨幹網路提供比互聯網更穩定的網路支撐,以一鍵部署的方式,幫助客戶實現幾千公里跨區域資料庫災備,故障恢復大概能在一分鍾之內完成,同時跨區域的數據復制延遲通常小於一秒。
第四個理念是平滑遷移、加速上雲。 目前,450000+ 資料庫通過亞馬遜雲 科技 資料庫遷移服務遷移到亞馬遜雲 科技 中,這個數字每年都在不斷增長。亞馬遜雲 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具讓開發者和企業進行自助式雲遷移。另外,對於遷移過程中可能會需要的支持,可通過專業服務團隊和合作夥伴網路成員,為客戶提供專業支持,還通過 Database Freedom 項目幫助客戶降低他們的顧慮。
今年 11 月,最新產品 Babelfish for Amazon Aurora PostgreSQL 在全球和中國兩個區域正式可用,可加速企業上雲的遷移,實現讓企業可以利用原有的技術棧、原有的 SQL Server T-SQL的人員可以利用到雲資料庫進行創新。
第五個理念是 AI賦能,深度集成。 我們觀察到,ML 技術賦能資料庫開發者,開發者無需具備機器學習專業知識,就可進行機器學習操作。在此潮流下,亞馬遜雲 科技 推出 Amazon Neptune,藉由 Deep Graph Library 和 Amazon SageMaker 驅動圖神經網路。
今年 8 月,Neptune ML 在中國正式可用,允許數據工程師不需要掌握機器學習的技能直接從圖資料庫里導出數據、轉換格式、訓練模型並發布,用 gremlin 語句調用訓練成的模型在資料庫里實現推理,進行欺詐檢測,推薦物品。
目前,亞馬遜雲 科技 加速在中國區域服務落地,2021年至今新發布 60 多個資料庫服務與功能。亞馬遜雲 科技 正是通過上述五大資料庫理念,打造豐富的資料庫產品家族,在全球智能化發展趨勢下,為企業提供更快更好的數智服務,釋放數據價值,並連續六年入選 Gartner 領導者象限,得到業界和客戶的深度認可。