1. 分布式資料庫的分布式資料庫相對傳統集中式資料庫的優點
大數據時代,面對日益增長的海量數據,傳統的集中式資料庫的弊端日益顯現,分布式資料庫相對傳統的集中式資料庫有如下優點。
● 更高的數據訪問速度:分布式資料庫為了保證數據的高可靠性,往往採用備份的策略實現容錯,所以,在讀取數據的時候,客戶端可以並發地從多個
備份伺服器同時讀取,從而提高了數據訪問速度。
● 更強的可擴展性:分布式資料庫可以通過增添存儲節點來實現存儲容量的線性擴展,而集中式資料庫的可擴展性十分有限。
● 更高的並發訪問量:分布式資料庫由於採用多台主機組成存儲集群,所以相對集中式資料庫,它可以提供更高的用戶並發訪問量。
2. 凶宅資料庫的記錄內容
在鏈家地產的信息平台上,內部員工輸入小區的名字,便會檢索出這個小區內統計在冊的凶宅信息。信息列表中,凶宅被一一編號,具體位置也有詳細顯示。鏈家地產品牌總監徐東華告訴《天下公司》,這個系統一個很重要的功能就是提示經紀人小心凶宅。
經紀人會活躍在社區里採集房屋的瑕疵信息,採集以後由過去的紙質文檔的收集到現在轉變為內部的IT系統把所有的數據記錄下來,一方面可以隨時查看,另一方面當有人委託房源錄入系統時,系統會提示此房源是否存在瑕疵。
同時徐東華說,這個資料庫內容的來源有50%都是靠門店經紀人走街串巷打聽出來的。
按目前來說有40%是我們通過新聞渠道獲取的數據,有50%是我們經紀人在日常作業里打聽到的,還有10%是我們老客戶提供的,但是房子被記錄後形成了委託要上市交易,那麼我們會向業主本人進行核實,如果沒有記錄的房屋我們也會在簽協議的時候進行詢問了解信息,因為房屋沒有進行交易的時候是一種隱私。
徐東華透露,目前資料庫大概記錄了近900個住所,而相對集中的地區在朝陽區。一般來說被戴上凶宅的帽子,就很難交易,甚至兩三年都賣不出去。同時鏈家地產品牌總監徐東華也坦言,之所以自建這個資料庫,還是有點無奈。
3. 數據倉庫,大數據和雲計算有什麼區別和聯系
您好,上海藍盟為您解答。
首先簡單的看一下雲計算與大數據的概念.
1)雲計算:雲計算本質上是一種計算資源集中分布和充分共享的效用計算模式,其中集中是為了計算資源的集約化管理,分布是便於擴展計算能力.集中分布式是針對雲服務提供商的,充分共享是針對用戶,在雲計算中,雖然對於每個雲用戶來說都擁有一台超級計算機,但本質上,這些用戶是充分共享了雲服務商所提供的計算服務.而效用計算更多的是一種商業模式,就是用戶按所需服務來付費.
2)在前面的博文中,對大數據有個討論,簡單的說,大數據的特點就是數據量大(雖然很多人都把大數據定義在T級別以上,其實我覺得這是有問題的,大數據的大其實應該是個相對概念,是相對於當前的存儲技術和計算能力的),數據應用需求大,計算量大.數據量大是最基本的,需求大其實包含了需求的數量、多樣性和實時性.計算量大是因為數據量大和需求量大和演算法復雜(檢索,推薦,模式識別)所致.大數據的這種特點使得我們很難找到通用的處理模式來解決大數據所面臨的問題,我們只能針對不同的需求採用不同的處理方法,這也是大數據處理比較困難的症結所在。無論是傳統的資料庫還是最近興起的NoSQL資料庫,在大數據存儲和處理方面其實都是有非常大的局限性的,所以分布式計算才在大數據處理中大興其道。Hadoop雖然提供了比較完整的一套處理模式,但相對於大數據所面臨的應用需求的多樣性而言,能處理的問題域也是十分有限的。
資料庫和數據倉庫的概念,大家google一下就可以了,接下來,我們看看它們之間的關系:
1)資料庫和數據倉庫都是數據的一種存儲方式,大數據處理更多的是一種需求(問題),而雲計算是一種比較綜合的需求(問題)解決方案。
2)由於雲計算本身的特性,天生就面臨大數據處理(存儲、計算等)問題,因為雲計算的基本架構模式是C/S模式,其中S相對集中,而C是廣泛分布。所有用戶的數據和絕大部分的計算都是在S端完成的(數據量大,計算量大),加上用戶也天然具有多樣性(地域,文化,需求,個性化等),因此需求(也包括計算量)就非常大。
3)雲計算當然會涉及到數據的存儲技術,但資料庫技術對於雲計算來說要視具體的情況來分析:
A)對於IaaS而言,資料庫技術不是必需的,也不是必備的功能;
B)對於PaaS來說,資料庫功能應該是必備的功能
C)對於SaaS而言,必然會用到資料庫技術(包括傳統關系資料庫和NoSQL資料庫)。
而對於數據倉庫技術,並不是雲計算所必需的,但由於雲數據的信息價值極大,類似一座金礦,我想雲服務商是不可能放過從這些金礦中提取金子的.
4)大數據首先所面臨的問題就是大數據的存儲問題,一般都會綜合運用各種存儲技術(文件存儲,資料庫存儲),當然,你完全用文件存儲或者資料庫存儲來解決,也是沒問題的。與雲計算類似,數據倉庫技術不是必需的,但對於數據倉庫技術對於結構化數據進行淘金還是非常有用的,當然,你不用數據倉庫技術也可以,比如Hadoop模式。
在雲計算和大數據處理中,最基礎的技術其實是分布式計算技術。而對於構建分布式計算而言,多線程,同步,遠程調用(RPC,RMI等),進程管理與通信是其基本技術點。分布式計算編程是一種綜合性應用編程,不僅需要有基本的技術點,還需要一定的組織管理知識。
就目前來說,雲計算和大數據處理其實都沒有形成一個統一的標准和定義。希望我的回復對您有所幫助。
4. 分布式資料庫系統(DDBS)概述
一 什麼是分布式資料庫
分布式資料庫系統是在集中式資料庫系統的基礎上發展來的 是資料庫技術與網路技術結合的產物
分布式資料庫系統有兩種 一種是物理上分布的 但邏輯上卻是集中的 這種分布式資料庫只適宜用途比較單一的 不大的單位或部門 另一種分布式資料庫系統在物理上和邏輯上都是分布的 也就是所謂聯邦式分布資料庫系統 由於組成聯邦的各個子資料庫系統是相對 自治 的 這種系統可以容納多種不同用途的 差異較大的資料庫 比較適宜於大范圍內資料庫的集成
分布式資料庫系統(DDBS)包含分布式資料庫管理系統(DDBMS)和分布式資料庫(DDB)
在分布式資料庫系統中 一個應用程序可以對資料庫進行透明操作 資料庫中的數據分別在不同的局部資料庫中存儲 由不同的DBMS進行管理 在不同的機器上運行 由不同的操作系統支持 被不同的通信網路連接在一起
一個分布式資料庫在邏輯上是一個統一的整體 即在用戶面前為單個邏輯資料庫 在物理上則是分別存儲在不同的物理節點上 一個應用程序通過網路的連接可以訪問分布在不同地理位置的資料庫 它的分布性表現在資料庫中的數據不是存儲在同一場地 更確切地講 不存儲在同一計算機的存儲設備上 這就是與集中式資料庫的區別 從用戶的角度看 一個分布式資料庫系統在邏輯上和集中式資料庫系統一樣 用戶可以在任何一個場地執行全局應用 就好那些數據是存儲在同一台計算機上 有單個資料庫管理系統(DBMS)管理一樣 用戶並沒有什麼感覺不一樣
分布式資料庫中每一個資料庫伺服器合作地維護全局資料庫的一致性
分布式資料庫系統是一個客戶/伺服器體系結構
在系統中的每一台計算機稱為結點 如果一結點具有管理資料庫軟體 該結點稱為資料庫伺服器 如果一個結點為請求伺服器的信息的一應用 該結點稱為客戶 在ORACLE客戶 執行資料庫應用 可存取數據信息和與用戶交互 在伺服器 執行ORACLE軟體 處理對ORACLE資料庫並發 共享數據存取 ORACLE允許上述兩部分在同一台計算機上 但當客戶部分和伺服器部分是由網連接的不同計算機上時 更有效
分布處理是由多台處理機分擔單個任務的處理 在ORACLE資料庫系統中分布處理的例子如
客戶和伺服器是位於網路連接的不同計算機上
單台計算機上有多個處理器 不同處理器分別執行客戶應用
參與分布式資料庫的每一伺服器是分別地獨立地管理資料庫 好像每一資料庫不是網路化的資料庫 每一個資料庫獨立地被管理 稱為場地自治性 場地自治性有下列好處
◆系統的結點可反映公司的邏輯組織
◆由局部資料庫管理員控制局部數據 這樣每一個資料庫管理員責任域要小一些 可更好管理
◆只要一個資料庫和網路是可用 那麼全局資料庫可部分可用 不會因一個資料庫的故障而停止全部操作或引起性能瓶頸
◆故障恢復通常在單個結點上進行
◆每個局部資料庫存在一個數據字典
◆結點可獨立地升級軟體
可從分布式資料庫的所有結點存取模式對象 因此正像非分布的局部的DBMS 必須提供一種機制 可在局部資料庫中引用一個對象 分布式DBMS必須提供一種命名模式 以致分布式資料庫中一個對象可在應用中唯一標識和引用 一般在層次結構的每一層實施唯一性 分布式DBMS簡單地擴充層次命名模型 實施在網路上唯一資料庫命名 因此一個對象的全局對象名保證在分布式資料庫內是唯一
ORACLE允許在SQL語句中使用全局對象名引用分布式資料庫中的模式對象(表 視圖和過程) 在ORACLE中 一個模式對象的全局名由三部分組成 包含對象的模式名 對象名 資料庫名 其形式如
SCOTT EMP@SALES DIVISION ACME
一個遠程查詢為一查詢 是從一個或多個遠程表中選擇信息 這些表駐留在同一個遠程結點
一個分布式查詢可從兩個或多個結點檢索數據 一個分布式更新可修改兩個或兩個以上結點的數據
一個遠程事務為一個事務 包含一人或多個遠程語句 它所引用的全部是在同一個遠程結點上 一個分布式事務中一個事務 包含一個或多個語句修改分布式資料庫的兩個或多個不同結點的數據
在分布式資料庫中 事務控制必須在網路上直轄市 保證數據一致性 兩階段提交機制保證參與分布式事務的全部資料庫伺服器是全部提交或全部回滾事務中的語句
ORACLE分布式資料庫系統結構可由ORACLE資料庫管理員為終端用戶和應用提供位置透明性 利用視圖 同義詞 過程可提供ORACLE分布式資料庫系統中的位置透明性
ORACLE提供兩種機制實現分布式資料庫中表重復的透明性 錶快照提供非同步的表重復;觸發器實現同步的表的重復 在兩種情況下 都實現了對表重復的透明性
在單場地或分布式資料庫中 所有事務都是用MIT或ROLLBACK語句中止
二 分布式資料庫系統的分類
( ) 同構同質型DDBS 各個場地都採用同一類型的數據模型(譬如都是關系型) 並且是同一型號的DBMS
( )同構異質型DDBS 各個場地採用同一類型的數據模型 但是DBMS的型號不同 譬如DB ORACLE SYBASE SQL Server等
( )異構型DDBS 各個場地的數據模型的型號不同 甚至類型也不同 隨著計算機網路技術的發展 異種機聯網問題已經得到較好的解決 此時依靠異構型DDBS就能存取全網中各種異構局部庫中的數據
三 分布式資料庫系統主要特點
DDBS的基本特點
( )物理分布性 數據不是存儲在一個場地上 而是存儲在計算機網路的多個場地上
邏輯整體性 數據物理分布在各個場地 但邏輯上是一個整體 它們被所有用戶(全局用戶)共享 並由一個DDBMS統一管理
( )場地自治性 各場地上的數據由本地的DBMS管理 具有自治處理能力 完成本場地的應用(局部應用)
( )場地之間協作性 各場地雖然具有高度的自治性 但是又相互協作構成一個整體
DDBS的其他特點
( )數據獨立性
( )集中與自治相結合的控制機制
( )適當增加數據冗餘度
( )事務管理的分布性
四 分布式資料庫系統的優點
( )更適合分布式的管理與控制
分布式資料庫系統的結構更適合具有地理分布特性的組織或機構使用 允許分布在不同區域 不同級別的各個部門對其自身的數據實行局部控制 例如 實現全局數據在本地錄入 查詢 維護 這時由於計算機資源靠近用戶 可以降低通信代價 提高響應速度 而涉及其他場地資料庫中的數據只是少量的 從而可以大大減少網路上的信息傳輸量;同時 局部數據的安全性也可以做得更好
( )具有靈活的體系結構
集中式資料庫系統強調的是集中式控制 物理資料庫是存放在一個場地上的 由一個DBMS集中管理 多個用戶只可以通過近程或遠程終端在多用戶操作系統支持下運行該DBMS來共享集中是資料庫中的數據 而分布式資料庫系統的場地局部DBMS的自治性 使得大部分的局部事務管理和控制都能就地解決 只有在涉及其他場地的數據時才需要通過網路作為全局事務來管理 分布式DBMS可以設計成具有不同程度的自治性 從具有充分的場地自治到幾乎是完全集中式的控制
( )系統經濟 可靠性高 可用性好
與一個大型計算機支持一個大型的集中式資料庫在加一些進程和遠程終端相比 由超級微型計算機或超級小型計算機支持的分布式資料庫系統往往具有更高的性價比和實施靈活性 分布式系統比集中式系統具有更高的可靠性和更好的可用性 如由於數據分布在多個場地並有許多復制數據 在個別場地或個別通信鏈路發生故障時 不致於導致整個系統的崩潰 而且系統的局部故障不會引起全局失控
( )在一定條件下響應速度加快
如果存取的數據在本地資料庫中 那麼就可以由用戶所在的計算機來執行 速度就快
( )可擴展性好 易於集成現有系統 也易於擴充
對於一個企業或組織 可以採用分布式資料庫技術在以建立的若干資料庫的基礎上開發全局應用 對原有的局部資料庫系統作某些改動 形成一個分布式系統 這比重建一個大型資料庫系統要簡單 既省時間 又省財力 物力 也可以通過增加場地數的辦法 迅速擴充已有的分布式資料庫系統
五 分布式資料庫系統的劣勢
( )通信開銷較大 故障率高
例如 在網路通信傳輸速度不高時 系統的響應速度慢 與通信相關的因素往往導致系統故障 同時系統本身的復雜性也容易導致較高的故障率 當故障發生後系統恢復也比較復雜 可靠性有待提高
( )數據的存取結構復雜
一般來說 在分布時資料庫中存取數據 比在集中時資料庫中存取數據更復雜 開銷更大
( )數據的安全性和保密性較難控制
在具有高度場地自治的分布時資料庫中 不同場地的局部資料庫管理員可以採用不同的安全措施 但是無法保證全局數據都是安全的 安全性問題式分布式系統固有的問題 因為分布式系統式通過通信網路來實現分布控制的 而通信網路本身卻在保護數據的安全性和保密性方面存在弱點 數據很容易被竊取
分布式資料庫的設計 場地劃分及數據在不同場地的分配比較復雜 數據的劃分及分配對系統的性能 響應速度及可用性等具有極大的影響 不同場地的通信速度與局部資料庫系統的存取部件的存取速度相比 是非常慢的 通信系統有較高的延遲 在CPU上處理通信信息的代價很高 分布式資料庫系統中要注意解決分布式資料庫的設計 查詢處理和優化 事務管理及並發控制和目錄管理等問題
六 分布式資料庫系統 數據分片
類型
水平分片
按一定的條件把全局關系的所有元組劃分成若干不相交的子集 每個子集為關系的一個片段
垂直分片
把一個全局關系的屬性集分成若乾子集 並在這些子集上作投影運算 每個投影稱為垂直分片
導出分片
又稱為導出水平分片 即水平分片的條件不是本關系屬性的條件 而是其他關系屬性的條件
混合分片
以上三種方法的混合 可以先水平分片再垂直分片 或先垂直分片再水平分片 或其他形式 但他們的結果是不相同的
條件
( )完備性條件
必須把全局關系的所有數據映射到片段中 決不允許有屬於全局關系的數據卻不屬於它的任何一個片段
( )可重構條件
必須保證能夠由同一個全局關系的各個片段來重建該全局關系 對於水平分片可用並操作重構全局關系;對於垂直分片可用聯接操作重構全局關系
( )不相交條件
要求一個全局關系被分割後所得的各個數據片段互不重疊(對垂直分片的主鍵除外)
七 分布式資料庫系統 數據分配方式
( )集中式 所有數據片段都安排在同一個場地上
( )分割式
所有數據只有一份 它被分割成若干邏輯片段 每個邏輯片段被指派在一個特定的場地上
( )全復制式 數據在每個場地重復存儲 也就是每個場地上都有一個完整的數據副本
( )混合式 這是一種介乎於分割式和全復制式之間的分配方式
八 分布式資料庫系統 體系結構
數據分片和數據分配概念的分離 形成了 數據分布獨立型 概念
數據冗餘的顯式控制 數據在各個場地的分配情況在分配模式中一目瞭然 便於系統管理
局部DBMS的獨立性 這個特徵也稱為 局部映射透明性 此特徵允許我們在不考慮局部DBMS專用數據模型的情況下 研究DDB管理的有關問題
九 分布式資料庫管理系統
接受用戶請求 並判定把它送到哪裡 或必須訪問哪些計算機才能滿足該要求
訪問網路數據字典 了解如何請求和使用其中的信息
如果目標數據存儲於系統的多個計算機上 就必須進行分布式處理
通信介面功能 在用戶 局部DBMS和其他計算機的DBMS之間進行協調
在一個異構型分布式處理環境中 還需提供數據和進程移植的支持 這里的異構型是指各個場地的硬體 軟體之間存在著差別
分布式資料庫管理系統
lishixin/Article/program/Oracle/201311/16998