1. 如何在分布式資料庫中查詢數據
分布式資料庫的目錄中存放了系統為保證正確而有效地訪問數據而要使用的全部信息。一般應包括各級模式的描述、訪問方法的描述、關於資料庫的統計數據和一致性信息等。系統根據這些信息將用戶查詢轉換為物理資料庫上的查詢，並進行查詢優化選擇一條最佳的存取路徑，進行事務管理，進行安全性和完整性檢查等。
分布式查詢處理負責將用戶查詢轉換為各站點上的物理查詢，並負責合並各子查詢結果以得到最後結果
2. 國內做分布式資料庫開發的現狀如何(分布式資料庫適用於大數據分析嗎)
基礎軟體創業其實我覺得是個好生意，尤其是資料庫，但是前提是確實在技術上有所創新，這么一來技術壁壘就巨高，這就是護城河。如果只是去模仿Oracle，是沒有太大前途的（當然靠關系那種就另說了，反正我本人不認為這樣是正確的價值觀），想想人家O記在這個領域做了30年，你走人家的老路憑什麼幹得動人家？目前來說我覺得之所以國內還沒有太大成功的公司涌現說到底還是因為技術不行或者路子不對或者客戶的歷史包袱太重，跡讓並拿個Hadoop改改就是大數據了嗎？真正的OLTP業務敢碰嗎？所以就造成了做項目掙快錢攢方案搞數據分析的公司扎堆，真正在OLTP端的創新沒人敢碰。另外一個重要的問題就是，國內幾乎沒人懂開源。最近幾年重要的基礎軟體創新都在開源社區，比如Docker/Kubenetes(Mesos)/Spark...憑一個公司的力量是很難跟上社區的發展速度的。國內的大多數開源項目不管是代碼質量，用心程度，設計的視野上都太弱了，連最基本的英文交流都很少有開源項目注意，更不用說生態了。不過，還是有希望的，至少學術界最近幾年的進展，讓我們看到了在分布式OLTP系統(NewSQL)上的一些希望，而且這塊在全球范圍內都是一個藍海。基於這個背景，我們創立了PingCAP，從零開始拋開一切歷史包袱去實現一個全新的資料庫TiDB，TiDB的目標就是瞄準世界頂級的通用分布式資料庫開源項目和未來的行業標准去的。雖然這個東西確實很難,但我也不覺得我們會比矽谷的頂級基礎軟體公司差:)，不客氣的講，我們在這個領域也遠遠走到了各個友商的前面，另外一方面如果不難也沒有做它的價值，如果未來的數據滑拍庫還是需要像現在分庫分表中間件Oracle，我覺得就太姿跡無趣了。就說一個Cloud-Native，目前來說基本沒有OLTP的資料庫能搞定。
3. 如何在海量數據環境下，搭建分布式資料庫系統
如果做分布式的話，首先需要對數據做個有效的劃分， 可以通過地區屬性或者其他類似屬性做水平擴展，把不同地域的數據放在不同資料庫上。 但是這種水平分割應當盡量避免跨區的訪問。或者設計一個數據中心，把各個區中和報表相關的匯總數據抽取到倉庫裡面去，提供報表。
這樣的做法在聯機游戲中非常常見，比如魔獸世界，fifa on line等
或者做垂直分割，根據時間或者類似屬性把數據分割到不同資料庫上去，基本架構是一台在用伺服器支持讀寫操作，幾台歷史伺服器提供數據查詢，一些轉儲腳本定期把數據從在用伺服器遷移到歷史伺服器上去...
4. 如何利用資料庫做數據報表
用Finereport就可以實現的。它支持跨資料庫數據表取數，用戶可以簡單應用多業務系統數據，集中數據於一張報表，讓更多數據應用於經營分析和業務管控中。通過FineReport數據決策系統，用戶可以搭建報表平台和報表中心，實現報表的統一訪問和管理，實現財務、銷售、客戶、庫存等各種業務主題分析、數據填報等。
5. 目前主流的分布式資料庫系統實現方案有哪些
（1）方案一（資料庫保存所有伺服器索引信息）
全對稱結構，沒有中央伺服器
web方案：
只從本地資料庫檢索符合條件的記錄，給出結果
每次檢索都要從本地伺服器的海量數據中進行
資料庫方案：
資料庫保存所有伺服器的索引內容
緩存命中率高的記錄，減少檢索時間
伺服器負載分析：
伺服器負載假設：
一百個結點，每結點一百人同時使用，每個結點一萬條記錄
web伺服器：同時一百線程在本地資料庫伺服器檢索
資料庫伺服器：每次接收一百個查詢請求；每個請求要從一百萬條索引中檢索（最壞的情況）；緩沖機制可以稍微減輕負擔
數據更新操作：
同時更新所有資料庫/只更新本地，伺服器間相互同步
方案二（資料庫保存本地索引及少量緩沖）
每高校作為一個結點
所有結點全對稱結構，網路中沒有一個中央伺服器
web方案：
接收到請求時同時多線程向其它伺服器同時搜索（伺服器壓力問題？）
資料庫方案：
資料庫保存本地數據
資料庫保存一定量緩沖數據，
伺服器負載分析：
伺服器負載假設：
一百個結點，每結點一百人同時使用
則每個web伺服器同時發起一萬個線程向其它數據伺服器搜索（oops!）
每個資料庫伺服器會同時接收到一萬個查詢請求（oops！）
採用學習過程只能少量減少查詢請求和web伺服器搜索線程
數據更新操作：
只更新本地
方案三（中央伺服器方案一）
每高校一個結點
每結點結構相同，連接到同一個中央伺服器
web方案
每個查詢向中央伺服器進行，由中央伺服器實行檢索，中央伺服器返回檢索結果
資料庫方案
中央資料庫保存所有索引信息
每結點可以只用小型資料庫保存本地用戶和其它信息即可
伺服器負載分析：
伺服器負載假設：
一百個結點，每結點一百人同時使用，每結點資料記錄一萬條
web伺服器：同時發起一百個進程向中央資料庫查詢
資料庫伺服器（中央）：同時接收一萬條查詢請求並返回大容量結果
資料庫伺服器（結點）：少量工作
數據更新操作：
只更新中央伺服器
方案四（中央伺服器方案二）
每高校一個結點
每結點結構相同，連接到同一中央伺服器
web方案：
每個查詢向中央伺服器進行，由中央伺服器根據查詢內容進行轉發到結點資料庫，再由結點資料庫返回結果
資料庫方案：
中央伺服器保存各結點分類信息，根據頁面請求的分類轉發查詢到相應伺服器
伺服器負載分析：
伺服器負載假設：
一百個結點，每結點一百人同時使用，每結點資料記錄一萬條，每結點一百個類別
web伺服器：同時一百個進程向中央資料庫查詢
資料庫伺服器（中央）：同時接收一萬條請求並轉發
資料庫伺服器（結點）：從中央伺服器接收查詢請求，最壞情況下每結點接收到一萬條查詢請求
數據更新操作：
只更新本地伺服器
分類變化時更新中央伺服器
6. 大數據的分布式資料庫技術的對比
大數據技術的實現離不開很多其他的技術，我們提到最多的就是Hadoop技術，其實就目前而言，Hadoop技術看似是自成一套體系，其實並不是這樣的，Hadoop和Spark以及分布式資料庫其實也是存在差異的，我們就在這篇文章中給大家介紹一下這些內容。
首先我們說一說大數據分析，現在的大數據分析體系以Hadoop生態為主，而近年來逐漸火熱的Spark技術也是主要的生態之一。可以這么說，Hadoop技術只能算是以HDFS+YARN作為基礎的分布式文件系統，而不是資料庫。我們提到的Hadoop的歷史可以向前追溯10年，當年穀歌為了在幾萬台PC伺服器上構建超大數據集合並提供極高性能的並發訪問能力，從而發明了一種新的技術，而這個技術，也是Hadoop誕生的理論基礎。如果我們從Hadoop的誕生背景可以看出，其主要解決的問題是超大規模集群下如何對非結構化數據進行批處理計算。實際上，在Hadoop架構中，一個分布式任務可以是類似傳統結構化數據的關聯、排序、聚集操作，也可以是針對非結構化數據的用戶自定義程序邏輯。
那麼Hadoop的發展道路是什麼樣的呢。最開始的Hadoop以Big、Hive和MapRece三種開發介面為代表，分別適用於腳本批處理、SQL批處理以及用戶自定義邏輯類型的應用。而Spark的發展更是如此，最開始的SparkRDD幾乎完全沒有SQL能力，還是套用了Hive發展出的Shark才能對SQL有了一部分的支持。但是，隨著企業用戶對Hadoop的使用越發廣泛，SQL已經漸漸成為大數據平台在傳統行業的主要訪問方式之一。
下面我們就說一說分布式資料庫，分布式資料庫有著悠久的歷史，從以Oracle RAC為代表的聯機交易型分布式資料庫，到IBM DB2 DPF統計分析性分布式資料庫，分布式資料庫覆蓋了OLTP與OLAP幾乎全部的數據應用場景。而大部分分布式資料庫功能集中在結構化計算與在線增刪改查上。但是，這些傳統的分布式資料庫以數倉及分析類OLAP系統為主，其局限性在於，其底層的關系型資料庫存儲結構在效率上並不能滿足大量高並發的數據查詢以及大數據數據加工和分析的效率要求。因此，分布式資料庫在近幾年也有著極大的轉型，從單一的數據模型向多模的數據模型轉移，將OLTP、聯機高並發查詢以及支持大數據加工和分析結合起來，不再單獨以OLAP作為設計目標。同時，分布式資料庫在訪問模式上也出現了K/V、文檔、寬表、圖等分支，支持除了SQL查詢語言之外的其他訪問模式，大大豐富了傳統分布式資料庫單一的用途。一般來說，多模資料庫的主要目的是為了滿足具有高性能要求的操作型需求以及目標明確的數據倉庫功能，而不是類似大數據深度學習等數據挖掘場景。這就是分布式資料庫的實際情況。
我們在這篇文章中給大家介紹了大數據分析以及分布式資料庫的相關知識，通過這些內容相信大家已經理解了其中的具體區別了吧，如果這篇文章能夠幫助到大家這就是我們最大的心願。
7. 如何進行大數據分析及處理
探碼科技大數據分析及處理過程
聚雲化雨的處理方式
聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；
化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；
開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。
8. 如何編寫一個分布式資料庫
某種程度上看來，資料庫作為整個系統的核心，這句話其實並不誇張，資料庫的選型關繫到上層業務代碼實現的方方面面，現在比較流行的架構方案是上層業務邏輯微服務化，並且結合分布式緩存，這套框架已經基本能做到上層業務的彈性擴展，但是最底層的數據存儲還是很難去中心化（除非整個技術棧中去除關系型資料庫（RDBMS）, 全部採用 NoSQL）。所以，經常是 RDBMS 成為整個系統的瓶頸。
在長期的斗爭中，大家總結出了很多方式來擴展最底層的關系型資料庫：
1. 主從，一主多從，雙寫，通過隊列暫存請求... 這些方案其實並沒有解決問題，寫入仍然是單點，而且對於 DBA 的挑戰比較大，今天我們暫時就不討論了。
2. 通過中間件 Sharding，常見的開源方案有： Cobar, TDDL, Vitess, Kingshard, MyCat 等，這些方案的思路是攔截 SQL 的請求通過 sharding key 和一定規則，將請求轉發/廣播到不同的 MySQL 實例上，從而實現水平擴展的效果，這個方案基本解決了單點寫入的問題，對於業務來說整體的吞吐也上來了，看上去不錯，這個方案是大多數業務遇到性能瓶頸的解決方案，但是缺點也是有的：
1）大多中間件都沒有解決動態擴容的問題，多採用了靜態的路由策略，擴容一般還處於人工 x2 的狀態，對 DBA 要求比較高。
2）從一定程度上來說都放棄了事務，這是由於一條語句有可能會涉及到多個資料庫實例，實現分布式 事務是一個比較難的事情，我們後面會詳細的介紹。
3）對業務不透明，需要指定 sharding key， 心智負擔較大