在前端開發中,性能一直都是被大家所重視的一點,然而判斷一個網站的性能最直觀的就是看網頁打開的速度。 其中提高網頁反應速度的一個方式就是使用緩存 。緩存技術一直一來在WEB技術體系中扮演非常重要角色,是快速且有效地提升性能的手段。
一個優秀的緩存策略可以縮短網頁請求資源的距離,減少延遲,並且由於緩存文件可以重復利用,還可以減少帶寬,降低網路負荷。
所以,緩存技術是無數WEB開發從業人員在工作過程中不可避免的一大問題。 在產品開發的時候我們總是想辦法避免緩存產生,而在產品發布之時又在想策略管理緩存提升網頁的訪問速度 。了解瀏覽器的緩存命中原理,是開發WEB應用的基礎,本文著眼於此,學習瀏覽器緩存的相關知識,總結緩存避免和緩存管理的方法,結合具體的場景說明緩存的相關問題。希望能對有需要的人有所幫助。
在實際WEB開發過程中,緩存技術會涉及到不同層、不同端,比如:用戶層、系統層、代理層、前端、後端、服務端等, 每一層的緩存目標都是一致的,就是盡快返回請求數據、減少延遲 ,但每層使用的技術實現是各有不同,面對不同層、不同端的優劣,選用不同的技術來提升系統響應效率。所以,我們首先看下各層的緩存都有哪些技術,都緩存哪些數據,從整體上,對WEB的緩存技術進行了解,如下圖所示:
本篇文章重點講的就是上面紅色框部分緩存內容。
當瀏覽器請求一個網站的時候,會載入各種各樣的資源,比如:HTML文檔、圖片、CSS和JS等文件。對於一些不經常變的內容,瀏覽器會將他們保存在本地的文件中,下次訪問相同網站的時候,直接載入這些資源,加速訪問。
那麼如何知曉瀏覽器是讀取了緩存還是直接請求伺服器?如下圖網站來做個示例:
第一次打開該網站後,如果再次刷新頁面。會發現瀏覽器載入的眾多資源中,有一部分size有具體數值,然而還有一部分請求,比如圖片、css和js等文件並沒有顯示文件大小,而是顯示了 from dis cache 或者 from memory cache 字樣。這就說明了,該資源直接從本地硬碟或者瀏覽器內存讀取,而並沒有請求伺服器。
瀏覽器啟用緩存至少有兩點顯而易見的好處: (1)減少頁面載入時間;(2)減少伺服器負載;
瀏覽器是否使用緩存、緩存多久,是由伺服器控制的 。准確來說,當瀏覽器請求一個網頁(或者其他資源)時, 伺服器發回的響應的「響應頭」部分的某些欄位指明了有關緩存的關鍵信息 。下面看下,HTTP報文中與緩存相關的首部欄位:
根據上面四種類型的首部欄位不同使用策略, 瀏覽器中緩存可分為強緩存和協商緩存 :
當瀏覽器對某個資源的請求命中了強緩存時, 返回的HTTP狀態為200 ,在chrome的開發者工具的network裡面 size會顯示為from cache ,比如:京東的首頁里就有很多靜態資源配置了強緩存,用chrome打開幾次,再用f12查看network,可以看到有不少請求就是從緩存中載入的:
Expires是HTTP 1.0提出的一個表示資源過期時間的header,它描述的是一個絕對時間,由伺服器返回,用GMT格式的字元串表示 ,如:Expires:Thu, 31 Dec 2037 23:55:55 GMT,包含了Expires頭標簽的文件,就說明瀏覽器對於該文件緩存具有非常大的控制權。
例如,一個文件的Expires值是2020年的1月1日,那麼就代表,在2020年1月1日之前,瀏覽器都可以直接使用該文件的本地緩存文件,而不必去伺服器再次請求該文件,哪怕伺服器文件發生了變化。
所以, Expires是優化中最理想的情況,因為它根本不會產生請求 ,所以後端也就無需考慮查詢快慢。它的緩存原理,如下:
Expires是較老的強緩存管理header, 由於它是伺服器返回的一個絕對時間 ,在伺服器時間與客戶端時間相差較大時,緩存管理容易出現問題, 比如:隨意修改下客戶端時間,就能影響緩存命中的結果 。所以在HTTP 1.1的時候,提出了一個新的header, 就是Cache-Control,這是一個相對時間,在配置緩存的時候,以秒為單位,用數值表示 ,如:Cache-Control:max-age=315360000,它的緩存原理是:
Cache-Control描述的是一個相對時間 ,在進行緩存命中的時候, 都是利用客戶端時間進行判斷 ,所以相比較Expires,Cache-Control的緩存管理更有效,安全一些。
這兩個header可以只啟用一個,也可以同時啟用, 當response header中,Expires和Cache-Control同時存在時,Cache-Control優先順序高於Expires :
此外,還可以為 Cache-Control 指定 public 或 private 標記。 如果使用 private,則表示該資源僅僅屬於發出請求的最終用戶,這將禁止中間伺服器(如代理伺服器)緩存此類資源 。對於包含用戶個人信息的文件(如一個包含用戶名的 HTML 文檔),可以設置 private,一方面由於這些緩存對其他用戶來說沒有任何意義,另一方面用戶可能不希望相關文件儲存在不受信任的伺服器上。需要指出的是,private 並不會使得緩存更加安全,它同樣會傳給中間伺服器(如果網站對於傳輸的安全性要求很高,應該使用傳輸層安全措施)。 對於 public,則允許所有伺服器緩存該資源 。通常情況下,對於所有人都可以訪問的資源(例如網站的 logo、圖片、腳本等), Cache-Control 默認設為 public 是合理的 。
當瀏覽器對某個資源的請求沒有命中強緩存, 就會發一個請求到伺服器,驗證協商緩存是否命中,如果協商緩存命中,請求響應返回的http狀態為304並且會顯示一個Not Modified的字元串 ,比如你打開京東的首頁,按f12打開開發者工具,再按f5刷新頁面,查看network,可以看到有不少請求就是命中了協商緩存的:
查看單個請求的Response Header, 也能看到304的狀態碼和Not Modified的字元串,只要看到這個就可說明這個資源是命中了協商緩存,然後從客戶端緩存中載入的 ,而不是伺服器最新的資源:
【Last-Modified,If-Modified-Since】的控制緩存的原理,如下 :
【Last-Modified,If-Modified-Since】都是根據伺服器時間返回的header,一般來說, 在沒有調整伺服器時間和篡改客戶端緩存的情況下,這兩個header配合起來管理協商緩存是非常可靠的,但是有時候也會伺服器上資源其實有變化,但是最後修改時間卻沒有變化的情況 ,而這種問題又很不容易被定位出來,而當這種情況出現的時候,就會影響協商緩存的可靠性。 所以就有了另外一對header來管理協商緩存,這對header就是【ETag、If-None-Match】 。它們的緩存管理的方式是:
Etag和Last-Modified非常相似,都是用來判斷一個參數,從而決定是否啟用緩存。 但是ETag相對於Last-Modified也有其優勢,可以更加准確的判斷文件內容是否被修改 ,從而在實際操作中實用程度也更高。
協商緩存跟強緩存不一樣,強緩存不發請求到伺服器, 所以有時候資源更新了瀏覽器還不知道,但是協商緩存會發請求到伺服器 ,所以資源是否更新,伺服器肯定知道。大部分web伺服器都默認開啟協商緩存,而且是同時啟用【Last-Modified,If-Modified-Since】和【ETag、If-None-Match】,比如apache:
如果沒有協商緩存,每個到伺服器的請求,就都得返回資源內容,這樣伺服器的性能會極差。
【Last-Modified,If-Modified-Since】和【ETag、If-None-Match】一般都是同時啟用,這是為了處理Last-Modified不可靠的情況。有一種場景需要注意:
比如,京東頁面的資源請求,返回的repsonse header就只有Last-Modified,沒有ETag:
協商緩存需要配合強緩存使用,上面這個截圖中,除了Last-Modified這個header,還有強緩存的相關header, 因為如果不啟用強緩存的話,協商緩存根本沒有意義 。
如果資源已經被瀏覽器緩存下來,在緩存失效之前,再次請求時,默認會先檢查是否命中強緩存,如果強緩存命中則直接讀取緩存,如果強緩存沒有命中則發請求到伺服器檢查是否命中協商緩存,如果協商緩存命中,則告訴瀏覽器還是可以從緩存讀取,否則才從伺服器返回最新的資源。其瀏覽器判斷緩存的詳細流程圖,如下:
❷ 網站緩存功能什麼意思
1.減少 HTTP 請求數:一個頁面中包含的圖片,JS,CSS等每一個資源都會生成一個 HTTP 下載請求,由瀏覽器發向網站伺服器,如果減少這個請求數,會縮短網路傳輸的時間。
另外圖片盡量採用壓縮格式的,例如 jpg 就屬於一種壓縮圖片格式,bmp屬於無壓縮無失真圖片。這個需要網頁/網站設計人員綜合考慮這個因素。
優點:縮短網路傳輸事件,網路傳輸量小,減少伺服器端負載;
缺點:減少HTTP請求,有時候無法滿足網站發布信息的需求,盜鏈的出現也會增加HTTP請求;
2、採用緩存技術(webcache):這個是目前網站加速最主要的方式。如果利用代理/緩存加速伺服器去實現的話,網站在不需要做任何改動的情況下,就可實現大跨度的實現加速效果。實現的基本方式為:將指定的網站頁面周期性的緩存起來,緩存時間可從幾秒到幾天,在緩存時間內,頁面只需要生成一次,以後有用戶訪問這個頁面的時候,網站伺服器和資料庫就不再需要重新生成相同的頁面了,極大的減少了網站伺服器和資料庫負荷。我們做個簡單的對比,假設一個新聞熱點頁面,在一個小時可被訪問1萬次,如果這個新聞頁面每次被訪問的時候,都會通過讀取資料庫後再一遍一遍的編譯生成,在一個小時內將會重復性的生成1萬次;如果這個頁面被周期性的緩存10分鍾,也就是每間隔10分鍾才會被生成一次,一個小時內只會被生成6次,如果兩種方式一對比,效果就超級明顯,兩種比較下伺服器負荷的壓力比差別1000倍以上,緩存技術將使得網站負載在高峰期游刃有餘。Fikker網站加速軟體實際上是一款代理伺服器軟體,通過Fikker網站加速伺服器提供的頁面緩存(webcache)功能,將需要緩存的網站URL配置到頁面緩存中(支持正則表達式,通配符和精確地址匹配),並設定一定的緩存時間(幾秒到幾天),不需要重啟Fikker立即生效,如果有重要頁面變動,可通過清理緩存將指定的緩存頁面清理出去。
優點:網站不需要做任何改動,大幅減少伺服器和資料庫的負荷。
3、使用gzip壓縮:頁面壓縮主要是降低傳輸尺寸,提高傳輸效率。常用的 html,asp,php,jsp,txt,css,js等文本頁面,通過gzip壓縮可降低75%左右尺寸,也就是原來需要傳輸 100KB 的頁面,gzip壓縮後只需要 25KB 的傳輸數據了,加速的效果是非常明顯的。Fikker內置了gzip模塊,自動對壓縮的文件壓面進行壓縮傳輸。
4、使用非阻塞網路技術(non-block):提高網路響應速度,Linux 從 2.6 內核開始,專門引入 epoll 事件機制,相對於傳統的 select 事件機制,效率大大的增強,尤其在高並發情況下越發的明顯,幾個線程即可並發支持上萬並發連接,使用盡量少的線程除了減少內存開支還可減少頻繁的線程切換的開銷。Fikker軟體的Linux版本全面支持epoll事件機制,支持從連接建立到連接結束,從域名解析開始到結束的全非阻塞網路設計。
5、提高帶寬,加速頁面傳輸:利用帶寬加速方式常用是CDN,通過CDN運營商的網路將頁面分發出去,用戶訪問時可就從最近的節點獲取,達到加速目的。但這裡面有一個前提,就是需要頁面是靜態的,或動態頁面首先需要被生成出來,然後才能利用 CDN 的高速網路傳輸出去,從這個角度理解,CDN 與 緩存加速具有很強的互補性,即利用緩存技術加快頁面生成,利用CDN加快傳輸,缺一不可。
希望對你有事幫助。
❸ 網站建設中為什麼要使用緩存
在網站建設的技術世界中,有一個說法叫「緩存為王」。雖然我們知道調優和擴展是有區別的,而且我們還常說緩存更偏向於一種調優活動,而不是一種擴展活動,但毫無疑問,如果網站建設的整個平台架構上深度應用緩存,會對網站的可擴展性產生極大的影響。通過在各個層面應用緩存,從瀏覽器到雲,到網路,到應用伺服器,甚至到資料庫,整個網站的可擴展性將大大提高。利用緩存還可以最小化系統的工作量,使用緩存,就可以不必反復查找,創建或提供同一條數據。
但是必須提出一條警告,與其他系統實現和主要修改一樣,即使是必須的,添加緩存也會增加網站建設項目的復雜度。多級緩存會使查找產品中的問題變得困難。因此,應該把緩存設計成可監控的。雖然緩存可以帶來很大的性能提高,但它本身也需要設計得能夠很好擴展才行。如果開發的緩存解決方案不能很好地擴展,就會在系統中造成一個擴展瓶頸,從而導致可用性降低。網站建設中緩存故障會給網站的可用性帶來災難性的打擊,因為服務會迅速過載。因此,應該確保緩存設計得具有高可用性且易於維護。最後要說的是,網站建設中的緩存使用是一門藝術,只有具備豐富的經驗才能用好它。
❹ 硬碟寫入緩存功能如何開啟
硬碟寫入緩存功能 可以加快硬碟的讀寫速度,但是如果突然斷電,可能造成硬碟中數據不完整,因為有一部分數據在緩存中來不及寫入硬碟。具體過程是當硬碟接到寫入數據的指令之後,並不會馬上將數據寫入到碟片上,而是先暫時存儲在緩存里,然後發送一個「數據已寫入」的信號給系統,這時系統就會認為數據已經寫入,並繼續執行下面的工作,而硬碟則在空閑(不進行讀取或寫入的'時候)時再將緩存中的數據寫入到碟片上。默認情況下系統可能並沒有開啟該功能。
如何開啟硬碟寫入緩存功能?下面是具體的步驟
1、右鍵點擊桌面計算機(我的電腦,此電腦),選擇屬性可直接選擇設備管理器
2、在設置管理中,找到硬碟單擊滑鼠右鍵,點擊選擇菜單中的"屬性"
3、硬碟屬性對話框,點擊選擇"策略"選項卡,將"啟用此設備上的寫入緩存"的勾選中這樣硬碟就開啟了寫入緩存功能了
如果你的硬碟不是固態硬碟或者你嫌棄硬碟寫入速度太慢,就好好應用這個技術吧。
❺ win7系統怎麼啟用大系統緩存
1、最有效的方法,當然是修改注冊表值,啟用大系統緩存,具體步驟:先從開始菜單中打開「運行」程序,然後輸入regedit命令,確定,進入注冊表編輯器。
2、進入編輯器窗口後,先在根鍵目錄中,選擇[HKEY_LOCAL_MACHINE]這一項。
3、然後在這一根鍵中,依次打開[HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\SessionManager\MomoryManagement],最後定位於MomoryManagement這一項。
4、在MomoryManagement這一項的右側窗口,在空白處右鍵,選擇菜單中的「DWORD (32位)值」,新建一個。
5、就會在窗口中新建一個項目,默認名稱為「新建 #1」,要將此名改一下,如果此名被確定了,可以右鍵,選擇「重命名」。
6、將名稱改為「LargeSystemCache」,空白處點一了下,即可確定,然後就要修改這個值,雙擊此名稱。
❻ 昆明電腦培訓分享web伺服器緩存基本定義
為了能夠給用戶一個良好的上網體驗,大部分的網頁和瀏覽器都配置了預載入以及緩存功能。今天昆明電腦培訓http://www.kmbdqn.com/就通過案例分析來了解一下,關於web緩存的基本定義與類型介紹。
Web緩存是什麼?為什麼要使用緩存?
Web緩存處於伺服器(也稱為源伺服器)和客戶端之間,監視請求並保存響應的副本,比如HTML頁面,圖片和文件等(統稱為表述)。如果之後有對同一個URL的新請求,它會使用自己保存的內容來響應,而不是再次請求源伺服器來獲取內容。
使用Web緩存主要有下面兩個原因:
減少延遲——因為響應請求的內容來自緩存(距客戶端較近)而不是源伺服器,它會花較少的時間來獲得表述並將他們呈現出來。這使得Web看起來具有良好的響應速度。
減少網路傳輸——由於復用了表述,它可以減少客戶端使用的帶寬總量。如果客戶需要為流量付費,這就意味著省錢。緩存會降低對帶寬的要求,也降低處理難度。
Web緩存的種類
瀏覽器緩存
你在查看現代Web瀏覽器(比如IE、Safari或Mazilla)選項的時候,可能會看到「緩存」設置。這個選項讓你配置一部分硬碟空間來保存你看過的表述。瀏覽器緩存的規則相當簡單。它通常會在一次會話(即當前瀏覽器中一次調用)中檢查表述是否新。
這個緩存在用戶使用「回退」按鈕或者點擊一個瀏覽過的鏈接時會特別有用。而且,如果你在網站的各個頁面中瀏覽相同的圖片,他們幾乎能馬上從緩存中載入出來。
代理緩存
Web代理緩存的工作原理相同,但規模更大。代理以同樣的方式為成百上千的用戶服務;大公司和ISP常常把代碼緩存建立在防火牆之上,也可能是以獨立設備的形式存在(也稱為中間設備)。
代理緩存即不是客戶端的一部分,也不是伺服器的一部分,而是在網路之外,必須以某種方式把請求路由過去。其中一種方式是手工修改瀏覽器代理設備,指定要使用的代碼;另一種方式是攔截。攔截式代理會根據其自身的基礎網路重定向Web請求,不需要在客戶端配置,客戶端甚至不知道它們的存在。
代理緩存是一種共享緩存,通常不只是一個用戶,而是大量用戶在使用代理緩存。正因為如此,他們特別擅長降低延遲和網路傳輸量。這是因為眾人都需要的表述會被多次重復使用。
網關緩存
網關緩存又名「反向代理緩存」或「替代緩存」。網關緩存也是一種中介,它他們不是由網路管理員部署以節約帶寬,而是由網站管理員自己部署,使其站點更具伸縮性、可靠性以及擁有更好的性能。
很多方法都可以把請求路由到網關緩存,但常見的方法是使用負載均衡器讓他們對於客戶來說,看起來就跟源伺服器一樣。
內容分發網路(CDN)在整個Internet(或它的一部分)中分發網關緩存,並將其出售給對此感興趣的網站。
Web緩存對我有壞處么?我為什麼要幫助它們?
Web緩存是互聯網中誤解深的技術之一。因為代理緩存可以隱藏使用網站的用戶,所以網站管理員特別害怕失去對他們的站點的控制,這會使得他們很難去知道是誰在使用他們的站點。
然而不幸的是,即使沒有Web緩存,網路上也有非常多的因素可以保證管理員精確的知道一個用戶如何使用他們的站點。如果這是你非常關注的問題的話,這篇手冊將會指導你如何在站點沒有不友好的緩存機制的情況下獲取你需要的統計信息。
❼ 如何實現分布式緩存技術
分布式緩存系統是為了解決資料庫伺服器和web伺服器之間的瓶頸。
如果一個網站的流量很大,這個瓶頸將會非常明顯,每次資料庫查詢耗費的時間將會非常可觀。
對於更新速度不是很快的網站,可以用靜態化來避免過多的資料庫查詢。
對於更新速度以秒計的網站,靜態化也不會太理想,可以用緩存系統來構建。
如果只是單台伺服器用作緩存,問題不會太復雜,如果有多台伺服器用作緩存,就要考慮緩存伺服器的負載均衡。
❽ 常用的緩存技術
第一章 常用的緩存技術
1、常見的兩種緩存
本地緩存:不需要序列化,速度快,緩存的數量與大小受限於本機內存
分布式緩存:需要序列化,速度相較於本地緩存較慢,但是理論上緩存的數量與大小無限(因為緩存機器可以不斷擴展)
2、本地緩存
Google guava cache:當下最好用的本地緩存
Ehcache:spring默認集成的一個緩存,以spring cache的底層緩存實現類形式去操作緩存的話,非常方便,但是欠缺靈活,如果想要靈活使用,還是要單獨使用Ehcache
Oscache:最經典簡單的頁面緩存
3、分布式緩存
memcached:分布式緩存的標配
Redis:新一代的分布式緩存,有替代memcached的趨勢
3.1、memcached
經典的一致性hash演算法
基於slab的內存模型有效防止內存碎片的產生(但同時也需要估計好啟動參數,否則會浪費很多的內存)
集群中機器之間互不通信(相較於Jboss cache等集群中機器之間的相互通信的緩存,速度更快<--因為少了同步更新緩存的開銷,且更適合於大型分布式系統中使用)
使用方便(這一點是相較於Redis在構建客戶端的時候而言的,盡管redis的使用也不困難)
很專一(專做緩存,這一點也是相較於Redis而言的)
3.2、Redis
可以存儲復雜的數據結構(5種)
strings-->即簡單的key-value,就是memcached可以存儲的唯一的一種形式,接下來的四種是memcached不能直接存儲的四種格式(當然理論上可以先將下面的一些數據結構中的東西封裝成對象,然後存入memcached,但是不推薦將大對象存入memcached,因為memcached的單一value的最大存儲為1M,可能即使採用了壓縮演算法也不夠,即使夠,可能存取的效率也不高,而redis的value最大為1G)
hashs-->看做hashTable
lists-->看做LinkedList
sets-->看做hashSet,事實上底層是一個hashTable
sorted sets-->底層是一個skipList
有兩種方式可以對緩存數據進行持久化
RDB
AOF
事件調度
發布訂閱等
4、集成緩存
專指spring cache,spring cache自己繼承了ehcache作為了緩存的實現類,我們也可以使用guava cache、memcached、redis自己來實現spring cache的底層。當然,spring cache可以根據實現類來將緩存存在本地還是存在遠程機器上。
5、頁面緩存
在使用jsp的時候,我們會將一些復雜的頁面使用Oscache進行頁面緩存,使用非常簡單,就是幾個標簽的事兒;但是,現在一般的企業,前台都會使用velocity、freemaker這兩種模板引擎,本身速度就已經很快了,頁面緩存使用的也就很少了。
總結:
在實際生產中,我們通常會使用guava cache做本地緩存+redis做分布式緩存+spring cache就集成緩存(底層使用redis來實現)的形式
guava cache使用在更快的獲取緩存數據,同時緩存的數據量並不大的情況
spring cache集成緩存是為了簡單便捷的去使用緩存(以註解的方式即可),使用redis做其實現類是為了可以存更多的數據在機器上
redis緩存單獨使用是為了彌補spring cache集成緩存的不靈活
就我個人而言,如果需要使用分布式緩存,那麼首先redis是必選的,因為在實際開發中,我們會緩存各種各樣的數據類型,在使用了redis的同時,memcached就完全可以舍棄了,但是現在還有很多公司在同時使用memcached和redis兩種緩存。