⑴ 如何搭建一個高並發的web框架
1、提供HTML靜態訪問
web界面上最快的訪問速度是什麼？當然是最原始的HTML文件訪問,對於其他語言 比如 jsp ,asp,php等等,他們首先要通過伺服器解析成html之後在返回給訪問者，如果我們能提供全部是htm來的頁面，那麼就能大大的降低伺服器和資料庫資源的利用和提高網站的並發，所以我們盡可能使我們的網站上的頁面採用靜態頁面來實現，這個最簡單的方法其實也是最有效的方法。當然實現這種方式大家比較了解的就是信息發布系統CMS,信息發布系統可以實現最簡單的信息錄入自動生成靜態頁面，還能具備頻道管理、許可權管理、自動抓取等功能，對於一個大型網站來說，擁有一套高效、可管理的CMS是必不可少的。
在後續的文章中我們會單獨的使用jsp + servlet實現一個簡單的信息發布系統.
2、使用獨立的圖片伺服器
為什麼要把圖片單獨設置一個伺服器？對於Web伺服器來說，圖片消耗的伺服器資源是最多的，如果能把所有的圖片資源放到一個單獨的圖片伺服器中進行處理的話，可以降低提供頁面訪問請求的伺服器系統壓力，從而能進一步的提高web程序的並發.所以在有條件的情況下最好能把圖片放置到一個單獨的伺服器中.
3、配置多台資料庫伺服器，多個資料庫集群
集群（Cluster）技術是使用特定的連接方式，將價格相對較低的硬體設備結合起來，同時也能提供高性能相當的任務處理能力。
越是大型高並發的應用，資料庫的壓力就會越大，如果資料庫操作很頻繁，資料庫的瓶頸很快就能顯現出來，這時一台資料庫將很快無法滿足應用，於是我們需要使用資料庫集群。
資料庫集群就是使用多個資料庫伺服器分擔請求的壓力，達到快速響應的目的.
4、使用緩存
所謂的緩存就是把數據咱是放置到內存中，前台在請求的時候直接從內存中讀取數據，而不需要去查詢資料庫或者讀取文件等，這樣就能做到最快的響應。網站架構和網站開發中的緩存是非常重要的。
目前有很多開源的緩沖實現方案，APC，File，SQLite，Memcache等等各種類庫實現著不同的緩存方式，只有通過了解他們的實現方式，根據具體應用具體選擇，才會使緩存系統發揮出最大的性能。
對於java開發來說，大名頂頂的 分布式緩存系統Memcache 可能是最好的選擇，他提供一個基於Socket的訪問方式，使得該緩存系統支持遠程讀寫訪問。盡管這個緩存的內容可能是存在內存中，也可能是存在文件內。
⑵ Bigtable---分布式的結構化數據存儲系統
sina
Bigtable 是一個分布式的結構化數據存儲系統，它被設計用來處理海量數據：通常是分布在數千台普通伺服器上的PB 級的數據。Google 的很多項目使用Bigtable 存儲數據，包括Web 索引、GoogleEarth、Google Finance。這些應用對Bigtable 提出的要求差異非常大，無論是在數據量上（從URL到網頁到衛星圖像）還是在響應速度上（從後端的批量處理到實時數據服務）。
Bigtable 已經實現了下面的幾個目標：適用性廣泛、可擴展、高性能和高可用性,Bigtable 是一個稀疏的、分布式的、持久化存儲的多維度排序Map。
圖一：一個存儲Web 網頁的例子的表的片斷。行名是一個反向URL。contents 列族存放的是網頁的內容，anchor 列族存放引用該網頁的錨鏈接文本（alex 註：如果不知道HTML 的Anchor，請Google一把）。CNN 的主頁被Sports Illustrater和MY-look 的主頁引用，因此該行包含了名為「anchor:cnnsi.com」和「anchhor:my.look.ca」的列。每個錨鏈接只有一個版本（alex 註：注意時間戳標識了列的版本，t9 和t8 分別標識了兩個錨鏈接的版本）；而contents 列則有三個版本，分別由時間戳t3，t5，和t6 標識。
行
Bigtable 通過行關鍵字的字典順序來組織數據。表中的每個行都可以動態分區。每個分區叫做一個」Tablet」，Tablet 是數據分布和負載均衡調整的最小單位。
列族
Webtable 有個列族language，language 列族用來存放撰寫網頁的語言。
我們在language 列族中只使用一個列關鍵字，用來存放每個網頁的語言標識ID。Webtable 中另一個有用的列族是anchor；這個列族的每一個列關鍵字代表一個錨鏈接，如圖一所示。Anchor 列族的限定詞是引用該網頁的站點名；Anchor 列族每列的數據項存放的是鏈接文本。訪問控制、磁碟和內存的使用統計都是在列族層面進行的。
時間戳
不同版本的數據通過時間戳來索引。Bigtable 時間戳的類型是64 位整型。
Bigtable 可以給時間戳賦值，用來表示精確到毫秒的「實時」時間；用戶程序也可以給時間戳賦值。如果應用程序需要避免數據版本沖突，那麼它必須自己生成具有唯一性的時間戳。數據項中，不同版本的數據按照時間戳倒序排序，即最新的數據排在最前面。為了減輕多個版本數據的管理負擔，我們對每一個列族配有兩個設置參數， Bigtable 通過這兩個參數可以對廢棄版本的數據自動進行垃圾收集。用戶可以指定只保存最後n 個版本的數據，或者只保存「足夠新」的版本的數據（比如，只保存最近7 天的內容寫入的數據）。
Bigtable支持的其他特性
1、Bigtable 支持單行上的事務處理，利用這個功能，用戶可以對存儲在一個行關鍵字下的數據進行原子性的讀-更新-寫操作。
2、Bigtable 允許把數據項用做整數計數器。
3、Bigtable 允許用戶在伺服器的地址空間內執行腳本程序
4、Bigtable 可以和MapRece一起使用，MapRece 是Google 開發的大規模並行計算框架。我們已經開發了一些Wrapper 類，通過使用這些Wrapper 類，Bigtable 可以作為MapRece 框架的輸入和輸出。
Bigtable依賴於google的幾項技術。用GFS來存儲日誌和數據文件；按SSTable文件格式存儲數據；用Chubby管理元數據：
Bigtable是建立在其它的幾個Google基礎構件上的。BigTable 使用Google 的分布式文件系統(GFS)存儲日誌文件和數據文件。BigTable 集群通常運行在一個共享的機器池中，池中的機器還會運行其它的各種各樣的分布式應用程序，BigTable 的進程經常要和其它應用的進程共享機器。BigTable 依賴集群管理系統來調度任務、管理共享的機器上的資源、處理機器的故障、以及監視機器的狀態。
BigTable 內部存儲數據的文件是Google SSTable 格式的。SSTable 是一個持久化的、排序的、不可更改的Map 結構，而Map 是一個key-value 映射的數據結構，key 和value 的值都是任意的Byte串，從內部看，SSTable 是一系列的數據塊（通常每個塊的大小是64KB，這個大小是可以配置的）。。SSTable 使用塊索引（通常存儲在SSTable 的最後）來定位數據塊；在打開SSTable的時候，索引被載入到內存。每次查找都可以通過一次磁碟搜索完成：首先使用二分查找法在內存中的索引里找到數據塊的位置，然後再從硬碟讀取相應的數據塊。也可以選擇把整個SSTable 都放在內存中，這樣就不必訪問硬碟了。
BigTable 還依賴一個高可用的、序列化的分布式鎖服務組件，叫做Chubby。Chubby有五個活躍副本，同時只有一個主副本提供服務，副本之間用Paxos演算法維持一致性，Chubby提供了一個命名空間（包括一些目錄和文件），每個目錄和文件就是一個鎖，Chubby的客戶端必須和Chubby保持會話，客戶端的會話若過期則會丟失所有的鎖。
Bigtable 包括了三個主要的組件：鏈接到客戶程序中的庫、一個Master主伺服器和多個Tablet片 伺服器。
Bigtable會將表（table）進行分片，片（tablet）的大小維持在100-200MB范圍，一旦超出范圍就將分裂成更小的片，或者合並成更大的片。每個片伺服器負責一定量的片，處理對其片的讀寫請求，以及片的分裂或合並。片伺服器可以根據負載隨時添加和刪除。這里片伺服器並不真實存儲數據，而相當於一個連接Bigtable和GFS的代理，客戶端的一些數據操作都通過片伺服器代理間接訪問GFS。主伺服器負責將片分配給片伺服器，監控片伺服器的添加和刪除，平衡片伺服器的負載，處理表和列族的創建等。注意，主伺服器不存儲任何片，不提供任何數據服務，也不提供片的定位信息。
客戶端需要讀寫數據時，直接與片伺服器聯系。因為客戶端並不需要從主伺服器獲取片的位置信息，所以大多數客戶端從來不需要訪問主伺服器，主伺服器的負載一般很輕。
Master 伺服器主要負責以下工作：為Tablet 伺服器分配Tablets、檢測新加入的或者過期失效的Table 伺服器、對Tablet 伺服器進行負載均衡、以及對保存在GFS 上的文件進行垃圾收集。除此之外，它還處理對模式的相關修改操作，例如建立表和列族。
我們使用一個三層的、類似B+樹的結構存儲Tablet 的位置信息。
第一層是一個存儲在Chubby 中的文件，它包含了Root Tablet 的位置信息。這個Chubby文件屬於Chubby服務的一部分，一旦Chubby不可用，就意味著丟失了root tablet的位置，整個Bigtable也就不可用了。
第二層是root tablet。root tablet其實是元數據表（METADATA table）的第一個分片，它保存著元數據表其它片的位置。root tablet很特別，為了保證樹的深度不變，root tablet從不分裂。
第三層是其它的元數據片，它們和root tablet一起組成完整的元數據表。每個元數據片都包含了許多用戶片的位置信息。
片的數據最終還是寫到GFS里的，片在GFS里的物理形態就是若干個SSTable文件。下圖展示了讀寫操作基本情況。
BigTable和GFS的關系
集群包括主伺服器和片伺服器，主伺服器負責將片分配給片伺服器，而具體的數據服務則全權由片伺服器負責。但是不要誤以為片伺服器真的存儲了數據（除了內存中memtable的數據），數據的真實位置只有GFS才知道，主伺服器將片分配給片伺服器的意思應該是，片伺服器獲取了片的所有SSTable文件名，片伺服器通過一些索引機制可以知道所需要的數據在哪個SSTable文件，然後從GFS中讀取SSTable文件的數據，這個SSTable文件可能分布在好幾台chunkserver上。
一個簡化的Bigtable結構圖：
結構圖以Webtable表為例，表中存儲了網易、網路和豆瓣的幾個網頁。當我們想查找網路貼吧昨天的網頁內容，可以向Bigtable發出查詢Webtable表的(com..tieba, contents:, yesterday)。
假設客戶端沒有該緩存，那麼Bigtable訪問root tablet的片伺服器，希望得到該網頁所屬的片的位置信息在哪個元數據片中。使用 METADATA.Webtable.com..tieba 為行鍵在root tablet中查找，定位到最後一個比它大的是 METADATA.Webtable.com..www ，於是確定需要的就是元數據表的片A。訪問片A的片伺服器，繼續查找 Webtable.com..tieba ，定位到 Webtable.com..www 是比它大的，確定需要的是Webtable表的片B。訪問片B的片伺服器，獲得數據。
這里需要注意的是，每個片實際都由若干SSTable文件和memtable組成，而且這些SSTable和memtable都是已排序的。這就導致查找片B時，可能需要將所有SSTable和memtable都查找一遍；另外客戶端應該不會直接從元數據表獲得SSTable的文件名，而只是獲得片屬於片伺服器的信息，通過片伺服器為代理訪問SSTable。
⑶ web開發方面會遇到哪些緩存分別如何優化
Web緩存定義：
Web緩存遊走於伺服器和客戶端之間，這個伺服器可能是源伺服器（資源所駐留的伺服器Add），數量可能是1個或多個。
Web緩存就在伺服器-客戶端之間搞監控，監控請求，並且把請求輸出的內容（例如html頁面、 圖片和文件）（統稱為副本）另存一份，然後，如果下一個請求是相同的URL，則直接請求保存的副本，而不是再次麻煩源伺服器。
Web緩存的2個主要原因：
降低延遲：緩存離客戶端更近，因此，從緩存請求內容比從源伺服器所用時間更少，呈現速度更快，網站就顯得更靈敏。
降低網路傳輸：副本被重復使用，大大降低了用戶的帶寬使用，其實也是一種變相的省錢（如果流量要付費的話），同時保證了帶寬請求在一個低水平上，更容易維護了。
Web緩存的類型：
瀏覽器緩存
在任何現代瀏覽器上(如IE, FireFox, Chrome)折騰清除隱私數據的對話框，你很可能會注意到「緩存」這個設置項。代理伺服器緩存
Web代理伺服器使用同樣的緩存原理，只是規模更大。代理以同樣的方式服務千萬用戶，大公司和ISP經常在他們的防火牆或者單獨的設備（也被稱為中介(intermediaries)）上架設代理緩存。網關緩存
也被稱為「反向代理緩存」或「替代緩存」。網關緩存同樣是起中介作用的，不過不是網路管理員部署的，而多半是網站管理員（公司專門的運維工程師、或UED或程序組某人Add）部署，這樣更容易擴展與維護。
⑷ web緩存器如何減少被請求的對象的時延的
把用戶參數請求入隊列，然後直接返回用戶調用，後續消費者慢慢處理請求就好了，不過這樣子只能返回調用是否成功，並不能立即返回業務處理結果。
Web緩存（或HTTP緩存）是用於臨時存儲（緩存）Web文檔（如HTML頁面和圖像），以減少伺服器延遲的一種信息技術。Web緩存系統會保存下通過這套系統的文檔的副本；如果滿足某些條件，則可以由緩存滿足後續請求。 Web緩存系統既可以指設備，也可以指計算機程序。
前向位置系統
前向緩存是Web伺服器網路外部的緩存，例如在客戶電腦、ISP或公司網路上。網路感知前向緩存就像一個前向緩存，但只緩存大量訪問的項目。客戶端（如網頁瀏覽器）也可以存儲網路內容以供重用。例如，如果按下後退按鈕，則可以顯示本地緩存版本的頁面，而不是發送到Web伺服器的新請求。位於客戶端和伺服器之間的Web代理可以通過評估HTTP頭來選擇是否存儲網頁內容。
⑸ web伺服器緩存基本定義
為了能夠給用戶一個良好的上網體驗，大部分的網頁和瀏覽器都配置了預載入以及緩存功能。今天北京電腦培訓就通過案例分析來了解一下，關於web緩存的基本定義與類型介紹。
Web緩存是什麼?為什麼要使用緩存?
Web緩存處於伺服器(也稱為源伺服器)和客戶端之間，監視請求並保存響應的副本，比如HTML頁面，圖片和文件等(統稱為表述)。如果之後有對同一個URL的新請求，它會使用自己保存的內容來響應，而不是再次請求源伺服器來獲取內容。
使用Web緩存主要有下面兩個原因：
減少延遲——因為響應請求的內容來自緩存(距客戶端較近)而不是源伺服器，它會花較少的時間來獲得表述並將他們呈現出來。這使得Web看起來具有良好的響應速度枝念。
減少網路蘆族傳輸——由於復用了表述，它可以減少客戶端使用的帶寬總量。如果客戶需要為流量付費，這就意味著省錢。緩存會降低對帶寬的要求，也降低處理難度。
Web緩存的種類
瀏覽器緩存
你在查看現代Web瀏覽器(比如IE、Safari或Mazilla)選項的時候，可能會看到「緩存」設置。這個選項讓你配置一部分硬碟空間來保存你看過的表述。瀏覽器緩存的規則相當簡單。它通常會在一次會話(即當前瀏覽器中一次調用)中檢查表述是否新。
這個緩存在用戶使用「回退」按鈕或者點擊一個瀏覽過的鏈接時會特別有用。而且，如果你在網站的各個頁面中瀏覽相同的圖片，他們幾乎能馬上從緩存中載入出來。
代理緩存
Web代理緩存的工作原理相同，但規模更大。代理以同樣的方式為成百上千的用戶服務;大公司和ISP常常把代碼緩存建立在防火牆之上，也可能是以獨立設備的形式存在(也稱為中間設備)。
代理緩存即不是客戶端的一部分，也不是伺服器的一部分，而是在網路之外，必須以某種方式把請求路由過去。其中一種方式是手工修改瀏覽器代理設備，指定要使用的代碼;另一種方式是攔截。攔截式代理會根據其自身的基礎網路重定向Web請求，不需要在客戶端配置，客戶端甚至不知道猛嘩困它們的存在。
代理緩存是一種共享緩存，通常不只是一個用戶，而是大量用戶在使用代理緩存。正因為如此，他們特別擅長降低延遲和網路傳輸量。這是因為眾人都需要的表述會被多次重復使用。
網關緩存
網關緩存又名「反向代理緩存」或「替代緩存」。網關緩存也是一種中介，它他們不是由網路管理員部署以節約帶寬，而是由網站管理員自己部署，使其站點更具伸縮性、可靠性以及擁有更好的性能。
很多方法都可以把請求路由到網關緩存，但常見的方法是使用負載均衡器讓他們對於客戶來說，看起來就跟源伺服器一樣。
內容分發網路(CDN)在整個Internet(或它的一部分)中分發網關緩存，並將其出售給對此感興趣的網站。
Web緩存對我有壞處么?我為什麼要幫助它們?
Web緩存是互聯網中誤解深的技術之一。因為代理緩存可以隱藏使用網站的用戶，所以網站管理員特別害怕失去對他們的站點的控制，這會使得他們很難去知道是誰在使用他們的站點。
然而不幸的是，即使沒有Web緩存，網路上也有非常多的因素可以保證管理員精確的知道一個用戶如何使用他們的站點。如果這是你非常關注的問題的話，這篇手冊將會指導你如何在站點沒有不友好的緩存機制的情況下獲取你需要的統計信息。