當前位置:首頁 » 數據倉庫 » 海量資料庫解決方案
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

海量資料庫解決方案

發布時間: 2022-02-02 14:10:29

『壹』 海量資料庫解決方案的作者簡介

作者:(韓國)李華植 譯者:鄭保衛 蓋國強
李華植
代表韓國的資料庫技術先驅
集基於EA(Enterprise Architecture)的數據架構(Data Architecture)
方法論之大成
在韓國最早提出了數據專家顧問的概念
現任EN-CORE CONSULTING總經理及代表顧問
曾在韓國Oracle公司擔任200多家企業的技術顧問
論文:《構建海量數據系統時的RDB Performance問題解決方案》
書籍:《Data Modeling&Database Design》(1995)
《Oracle Server Tuning}(1995)
《海量資料庫解決方案》(1996)
《海量資料庫解決方案Ⅱ》(1998)
《數據架構解決方案I》(2003)
譯者簡介:
鄭保衛,於韓國國立釜慶大學信息工學系獲得工學博士,現任職於韓國最權威的資料庫公司EN-CORE CONSULTING,並兼任企業研究所研究員及資料庫電子商務研究所主要研究員。研究方向包括數據模型設計、海量資料庫解決方案、數據架構、基於資料庫技術的專家智能系統、ITA/EA(Infomation Technology Architecture/Enterprise Architecture)。
蓋國強(網名Eygle),Oracle ACE總監,恩墨科技創始人,ITPUB論壇超級版主,遠程DBA服務的倡導者和實踐者,致力於以技術服務客戶。著有《深入解析Orade》、《循序漸進Oracle》、《深入淺出Oracle》等書:從2010年開始,致力於《OracleDBA手記》的撰寫與編輯工作,並與張樂奕共同創立了ACOUG用戶組,在國內推進公益自由的Oracle技術交流活動。張樂奕(網名Kamus),恩墨科技技術總監,Oracle ACE,ITPUB資料庫管理版版主。他曾先後於北京某大型軟體公司、外資電信企業、咨詢公司任首席DBA。後任職於北京甲骨文軟體系統有限公司,高級顧問。他熱切關注Oracle資料庫及其他相關技術,對於Oracle資料庫RAC及高可用解決方案具有豐富的實踐經驗,長於資料庫故障診斷、資料庫性能調優。他還是各類技術會議的熱心分享者,2010年3月創建ACOUG用戶組。
崔華(網名Dbsnake),2004年開始從事DBA工作,在Oracle的安裝、升級、開發、性能調整、故障處理方面有豐富的經驗,對Oracle的體系結構具有深入了解:深入理解Oracle的內存結構、物理存儲(各種塊格式)、鎖機制、優化機制等:深入了解Oracle的備份恢復機制,熟悉Oracle的各種備份方法,能夠處理各種情況下的復雜數據恢復情況。
崔華也是熱心的技術分享者,多次在ACOUG的活動上與技術愛好者分享技術心得。

『貳』 oracle上億表海量數據進行大批量數據刪除有什麼好的解決方案

以下純屬個人意見,請根據實際情況判斷
(1)省下的數據量如果不大,那麼可以考慮建立一張臨時表,將需要保留的數據臨時灌過去,然後truncate該表,然後再把數據灌回來。也可以考慮drop表,然後另外一張表改名,不過這樣可能會有很多的後續操作,比如索引的建立等等,因此一般不用drop操作。
(2)上億的數據,應該有分區吧,如果可能的話,按照分區truncate,這樣也可以。
(3)實在不能truncate,只能delete那麼建議找個欄位循環刪除提交,每次不能太多,最好保持在5萬以下(根據實際情況具體判斷),畢竟delete是最消耗資源的dml語句。
(4)如果可能的話,不要同一時間操作,分批操作,這樣能減少一部分資料庫負載壓力(特別是undo)。
(5)一定要閑時操作,因為delete消耗資源比較多,會使資料庫變慢。

『叄』 大數據解決方案有哪幾種類型

一、Hadoop。Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。此外,Hadoop 依賴於社區伺服器,因此它的成本比較低,任何人都可以使用。

二、HPCC。HPCC,High Performance Computing and Communications(高性能計算與通信)的縮寫。HPCC主要目標要達到:開發可擴展的計算系統及相關軟體,以支持太位級網路傳輸性能,開發千兆 比特網路技術,擴展研究和教育機構及網路連接能力。

三、Storm。Storm是自由的開源軟體,一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流,用於處理Hadoop的批量數據。 Storm支持許多種編程語言,使用起來非常有趣。Storm由Twitter開源而來,其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

四、Apache Drill。為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法,Apache軟體基金會近日發起了一項名為“Drill”的開源項目。該項目幫助谷歌實現海量數據集的分析處理,包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

五、RapidMiner。RapidMiner是世界領先的數據挖掘解決方案,在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛,包括各種數據藝術,能簡化數據挖掘過程的設計和評價。

『肆』 數據存儲,海量數據存儲解決方案

目前市場上主流的海量數據存儲解決方案當然是雲存儲解決方案啦! 南京雲創存儲科技有限公司的cStor雲存儲系統可以幫你解決海量存儲的問題! 你可以到雲創存儲的官網上了解一下產品的詳細信息! 希望我的回答會對你有所幫助咯!

『伍』 大量數據用什麼資料庫

http://www.yesky.com/323/93823.shtml
http://hi..com/supersi_pumc/blog/item/6232a17ba79a26f10bd18724.html
比較SQL Server與Oracle、DB2
出處:不祥
關鍵詞:Sql Server, Oracle, 其他

1.選擇一個好的資料庫是非常重要的。

2.如何選擇一個好的資料庫

開放性:
SQL Server
只能在windows 上運行,沒有絲毫的開放性,操作系統的系統的穩定對資料庫是十分重要的。Windows9X系列產品是偏重於桌面應用,NT server只適合中小型企業。而且windows平台的可靠性,安全性和伸縮性是非常有限的。它不象unix那樣久經考驗,尤其是在處理大數據量的關鍵業務時.

Oracle
能在所有主流平台上運行(包括 windows)。完全支持所有的工業標准。採用完全開放策略。可以使客戶選擇最適合的解決方案。對開發商全力支持。

DB2
能在所有主流平台上運行(包括windows)。最適於海量數據。DB2在企業級的應用最為廣泛,在全球的500家最大的企業中,幾乎85%以上用DB2資料庫伺服器,而國內到97年約佔5%.

可伸縮性,並行性
SQL server
DB2
並行實施和共存模型並不成熟。很難處理日益增多的用戶數和數據卷。伸縮性有限。

Oracle
平行伺服器通過使一組結點共享同一簇中的工作來擴展windownt的能力,提供高可用性和高伸縮性的簇的解決方案。
如果windowsNT不能滿足需要, 用戶可以把資料庫移到UNIX中。

DB2
DB2具有很好的並行性。DB2把資料庫管理擴充到了並行的、多節點的環境.
資料庫分區是資料庫的一部分,包含自己的數據、索引、配置文件、和事務日
志。資料庫分區有時被稱為節點或資料庫節點

安全性
SQL server
沒有獲得任何安全證書。

Oracle Server
獲得最高認證級別的ISO標准認證。

DB2
獲得最高認證級別的ISO標准認證。

性能
SQL Server
多用戶時性能不佳

Oracle
性能最高, 保持windowsNT下的TPC-D和TPC-C的世界記錄。

DB2
適用於數據倉庫和在線事物處理性能較高。

客戶端支持及應用模式
SQL Server
C/S結構,只支持windows客戶,可以用ADO,DAO,OLEDB,ODBC連接.

Oracle
多層次網路計算,支持多種工業標准,可以用ODBC,JDBC,OCI等網路客戶連接

DB2
跨平台,多層結構,支持ODBC,JDBC等客戶

操作簡便
SQL Server
操作簡單,但只有圖形界面.

Oracle
較復雜, 同時提供GUI和命令行,在windowsNT和unix下操作相同

DB2
操作簡單,同時提供GUI和命令行,在windowsNT和unix下操作相同

使用風險
SQL server
完全重寫的代碼,經歷了長期的測試,不斷延遲,許多功能需要時間來證明。並不十分兼容早期產品。使用需要冒一定風險。

Oracle
長時間的開發經驗,完全向下兼容。得到廣泛的應用。完全沒有風險。

DB2
在巨型企業得到廣泛的應用,向下兼容性好。風險小。

『陸』 有冷數據存儲海量數據存儲解決方案嗎

目前市場上主流的海量數據存儲解決方案當然是雲存儲解決方案啦!我知道一家公司瑞馳信息技術很專業,你可以咨詢下看有沒有適合你的方案

『柒』 國內做大數據解決方案的公司有哪些

隨著「大數據時代」的來臨,企業越來越重視數據的作用,數據給企業帶來的價值也越來越多。本文檔將介紹大數據給企業帶來的機遇與挑戰以及企業的大數據解決方案。

第一步先搞清楚什麼是大數據?他不是簡單的大量數據或海量數據,而是有著4V特徵的數據金礦。他給我們的企業會帶來機遇與挑戰。

第二步我們根據大數據的特徵,分析企業大數據平台要迎接大數據的挑戰,應該具備什麼樣的能力。

第三部分,基於大數據平台要求,我們提出一個企業大數據的技術解決方案,介紹解決方案是如何解決大數據難題。

最後我看一看大數據應用當前存在的問題,未來將會怎樣發展。

什麼是大數據?

結束語

隨著高性能計算機、海量數據的存儲和管理的流程的不斷優化,技術能夠解決的問題終將不會成為問題。真正會制約或者成為大數據發展和應用瓶頸的有三個環節:

第一、數據收集和提取的合法性,數據隱私的保護和數據隱私應用之間的權衡。

任何企業或機構從人群中提取私人數據,用戶都有知情權,將用戶的隱私數據用於商業行為時,都需要得到用戶的認可。然而,目前,中國乃至全世界對於用戶隱私應當如何保護、商業規則應當如何制定、觸犯用戶的隱私權應當如何懲治、法律規范應當如何制定等等一系列管理問題都**滯後於大數據的發展速度。未來很多大數據業務在最初發展階段將會遊走在灰色地帶,當商業運作初具規模並開始對大批消費者和公司都產生影響之後,相關的法律法規以及市場規范才會被迫加速制定出來。可以預計的是,盡管大數據技術層面的應用可以無限廣闊,但是由於受到數據採集的限制,能夠用於商業應用、服務於人們的數據要遠遠小於理論上大數據能夠採集和處理的數據。數據源頭的採集受限將**限制大數據的商業應用。

第二、大數據發揮協同效應需要產業鏈各個環節的企業達成競爭與合作的平衡。

大數據對基於其生態圈中的企業提出了更多的合作要求。如果沒有對整體產業鏈的宏觀把握,單個企業僅僅基於自己掌握的獨立數據,無法了解產業鏈各個環節數據之間的關系,對消費者做出的判斷和影響也十分有限。在一些信息不對稱比較明顯的行業,例如銀行業以及保險業,企業之間數據共享的需求更為迫切。例如,銀行業和保險業通常都需要建立一個行業共享的資料庫,讓其成員能夠了解到單個用戶的信用記錄,消除擔保方和消費者之間的信息不對稱,讓交易進行的更為順利。然而,在很多情況下,這些需要共享信息的企業之間競爭和合作的關系同時存在,企業在共享數據之前,需要權衡利弊、避免在共享數據的同時喪失了其競爭優勢。此外,當很多商家合作起來,很容易形成賣家同盟而導致消費者利益受到損失,影響到競爭的公平性。大數據最具有想像力的發展方向是將不同的行業的數據整合起來,提供全方位立體的數據繪圖,力圖從系統的角度了解並重塑用戶需求。然而,交叉行業數據共享需要平衡太多企業的利益關系,如果沒有中立的第三方機構出面,協調所有參與企業之間的關系、制定數據共性及應用的規則,將**限制大數據的用武之地。權威第三方中立機構的缺乏將制約大數據發揮出其最大的潛力。

第三、大數據結論的解讀和應用。

大數據可以從數據分析的層面上揭示各個變數之間可能的關聯,但是數據層面上的關聯如何具象到行業實踐中?如何制定可執行方案應用大數據的結論?這些問題要求執行者不但能夠解讀大數據,同時還需深諳行業發展各個要素之間的關聯。這一環節基於大數據技術的發展但又涉及到管理和執行等各方面因素。在這一環節中,人的因素成為制勝關鍵。從技術角度,執行人需要理解大數據技術,能夠解讀大數據分析的結論;從行業角度,執行人要非常了解行業各個生產環節的流程的關系、各要素之間的可能關聯,並且將大數據得到的結論和行業的具體執行環節一一對應起來;從管理的角度,執行人需要制定出可執行的解決問題的方案,並且確保這一方案和管理流程沒有沖突,在解決問題的同時,沒有製造出新的問題。這些需求,不但要求執行人深諳技術,同時應當是一個卓越的管理者,有系統論的思維,能夠從復雜系統的角度關聯地看待大數據與行業的關系。此類人才的稀缺性將制約大數據的發展。

『捌』 大數據解決方案選擇哪一家

很多企業都開始數據治理,並探索不同工具和方法來實現。然而,企業往往又會被不同的解決方案所困惑。

那麼,企業應該如何選擇大數據解決方案呢?主要考慮以下6個重要方面:

1、分析藍圖

無論是從哪一類具體的分析需求開始,對於分析的構建,都需要設想整個藍圖。

在構建企業分析時,有三個維度是很重要的:業務鏈、產業鏈、面向對象,不同的人員在不同的業態下除了配置報表外,在數據分析階段還可以設置主題分析的內容,自上而下的目標監控,自下而上的原因反饋。

為了更好地提升企業級能力,在商業分析到一定階段後,要做全價值鏈分析,同時,針對多業態的產業鏈,要做統一的價值體系。

『玖』 大數據解決方案都有哪些

在信息時代的我們,總會聽到一些新鮮詞,比如大數據,物聯網,人工智慧等等。而現在,物聯網、大數據、人工智慧已經走進了我們的生活,對於很多人看到的大數據的前景從而走進了這一行業,對於大數據的分析和解決是很多人不太了解的,那麼大數據的解決方案都有哪些呢?一般來說,大數據的解決方案就有Apache Drill、Pentaho BI、Hadoop、RapidMiner、Storm、HPCC等等。下面就給大家逐個講解一下這些解決方案的情況。

第一要說的就是Apache Drill。這個方案的產生就是為了幫助企業用戶尋找更有效、加快Hadoop數據查詢的方法。這個項目幫助谷歌實現海量數據集的分析處理,包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

第二要說的就是Pentaho BI。Pentaho BI 平台和傳統的BI 產品不同,它是一個以數據流程為中心的,面向解決方案的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來,這樣一來就方便了商務智能應用的開發。Pentaho BI的出現,使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等,能夠集成在一起,構成一項復雜的、完整的商務智能解決方案。

然後要說的就是Hadoop。Hadoop 是一個能夠對海量數據進行分布式處理的軟體框架。不過Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。另外,Hadoop 依賴於社區伺服器,所以Hadoop的成本比較低,任何人都可以使用。

接著要說的是RapidMiner。RapidMiner是世界領先的數據挖掘解決方案,有著先進的技術。RapidMiner數據挖掘任務涉及范圍廣泛,包括各種數據藝術,能簡化數據挖掘過程的設計和評價。

Storm。Storm是自由的開源軟體,一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流,用於處理Hadoop的批量數據。 Storm支持許多種編程語言,使用起來非常有趣。Storm由Twitter開源而來,其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、Admaster等等。

最後要說的就是HPCC。什麼是HPPC呢?HPCC是High Performance Computing and Communications(高性能計算與通信)的縮寫。HPCC主要目標要達到:開發可擴展的計算系統及相關軟體,以支持太位級網路傳輸性能,開發千兆比特網路技術,擴展研究和教育機構及網路連接能力。

通過上述的內容,想必大家已經知道了大數據的解決方案了吧,目前世界范圍內擁有的大數據解決方案種類較多,只有開發並使用好最先進的,最完備的大數據解決方案,一個公司,甚至一個國家才能走在世界前列。

『拾』 海量資料庫解決方案的內容簡介

《海量資料庫解決方案》系列叢書深受廣大讀者的喜愛已經長達10年之久,在被譽為「聖經」的同時,它已經變成了資料庫用戶不可或缺的必讀書籍。作者竭力探求能夠讓IT工作者在實際工作中輕松應用並掌控的巧妙方法,提供事半功倍的海量資料庫解決之道。
本書適合資料庫開發人員和資料庫管理員等閱讀。