1. 如何將分頁數據 放入redis
普通分頁
一般分頁做緩存都是直接查找出來,按頁放到緩存里,但是這種緩存方式有很多缺點。
如緩存不能及時更新,一旦數據有變化,所有的之前的分頁緩存都失效了。
比如像微博這樣的場景,微博下面現在有一個頂次數的排序。這個用傳統的分頁方式很難應對。
一種思路
最近想到了另一種思路。
數據以ID為key緩存到Redis里;
把數據ID和排序打分存到Redis的skip list,即zset里;
當查找數據時,先從Redis里的skip list取出對應的分頁數據,得到ID列表。
用multi get從redis上一次性把ID列表裡的所有數據都取出來。如果有缺少某些ID的數據,再從資料庫里查找,再一塊返回給用戶,並把查出來的數據按ID緩存到Redis里。
在最後一步,可以有一些小技巧:
比如在缺少一些ID數據的情況下,先直接返回給用戶,然後前端再用ajax請求缺少的ID的數據,再動態刷新。
還有一些可能用Lua腳本合並操作的優化,不過考慮到Lua腳本比較慢,可能要仔細測試。
如果是利用Lua腳本的話,可以在一個請求里完成下面的操作:
查找某頁的所有文章,返回已緩存的文章的ID及內容,還有不在緩存里的文章的ID列表。
其它的一些東東:
Lua是支持LRU模式的,即像Memcached一樣工作。但是貌似沒有見到有人這樣用,很是奇怪。
可能是用redis早就准備好把redis做存儲了,也不擔心內存的容量問題。
2. Redis 中使用 Lua 腳本
Redis 本身已經提供了豐富的命令,但是直接用來處理一些復雜業務時可能還不夠方便,會有一定的局限性。因此,在 Redis2.6 版本開始提供了對 Lua 腳本的支持,Lua 腳本的使用還是比較廣泛的,比如商品秒殺、分布式鎖等,使用 Lua 腳本可以帶來以下的好處:
為了讓例子更加的貼近實際應用,這里實現一個簡單版的分布式鎖。這里先用 Jedis 操作。
上邊詳細的介紹了分布式鎖的實現過程,以及可能出現的問題,最終,我們決定刪除鎖的操作使用 Lua 腳本實現,對應的腳本如下:
Lua 腳本中執行具體的 Redis 命令,需要使用 redis.call() 方法, KEYS 表示客戶端發起腳本執行命令時攜帶的 Redis key 的一個集合, ARGV 則是其它參數的一個集合,主意下標從1開始。結合我們的業務,這里的 KEYS[1] 則表示 lock , ARGV[1] 則是一個隨機字元串。整個腳本的含義就是,如果客戶端傳遞的 lock 的 value 和 Redis 中存儲的一致,就刪除 lock 。
Lua 腳本的語法還是比較簡單的,具體內容可以自行學習。
前邊的准備工作基本結束了,文章開始說過執行腳本有兩種途徑,下邊我們具體來看:
這里使用 jedis.eval() 發送腳本到 Redis 伺服器執行,後兩個參數分別是 key 的集合,以及 value 參數的集合。
先將腳本以文件形式放到 Redis 里,例如這樣:
然後通過如下命令讓 Redis 伺服器緩存腳本:
script load 命令會在 Redis 伺服器緩存 Lua 腳本,並且腳本內容經過 SHA-1 簽名演算法處理後,會返回腳本內容的 SHA1 校驗和的編碼,然後在端調用時,傳入編碼字元串作為參數,這樣 Redis 伺服器就會執行對應緩存的腳本了,就不用了每次發送具體的腳本內容了。
還有兩個比較有用的命令:
除了使用上邊的命令緩存腳本、生成腳本的 SHA1 校驗和的編碼,還可以使用 Jedis 實現,但最終的 SHA1 編碼內容是不同的:
實際的項目中,可能更多的會在 SpringBoot 項目中整合 Redis,此時執行 Lua 腳本的基本流程如下:
核心的類就是 DefaultRedisScript ,它實現了 RedisScript 介面。 execute() 方法最後一個參數是可變類型的,用來傳遞多個 value 參數。初次執行 execute() 方法時,其內部會自動緩存 Lua 腳本到 Redis 伺服器;同時每次執行腳本時會根據腳本內容自動計算出對應的 SHA1 校驗和的編碼,去匹配、執行緩存的腳本。
具體的 SHA1 校驗和的編碼,可以在 execute() 方法執行後,使用 redisScript.getSha1() 查看。使用 SpringBoot 方式 執行 Lua 腳本生成的 SHA1 校驗和的編碼和前邊直接使用 Jedis 生成的一致。
無論用那種方式在 Redis 中使用 Lua 腳本,其中的原理都是類似的。
3. nginx優化以及多級緩存
配置文件:
lua是一個小巧的腳本語言,由標准C編寫而成,幾乎在所有操作系統和平台上都可以編譯運行。其設計目的是為了嵌入應用程序中,從而為應用程序提供靈活的擴展和定製功能。
應用場景:游戲開發、獨立應用腳本、redis中嵌套調用實現類似事務的功能,web容器匯總處理NGINX的過濾緩存等等邏輯
OpenResty是一個基於Nginx與Lua的高性能web平台,由中國人章亦春發起,其內部集成了大量精良的Lua庫、第三方模塊以及大多數的依賴項。用於方便搭建能處理超高並發、擴展性極高的動態Web應用、web服務和動態網關
OpenResty簡單理解成就相當於封裝了NGINX,並且集成了LUA腳本,開發人員只需要簡單的使用其提供了模塊就可以實現相關的邏輯,而不像之前,還需要在NGINX中編寫lua的腳本。
1.拉取一個openresty的鏡像
2.隨便構建一個容器用於拷貝配置文件
3.進入容器,查找配置文件路徑(這里直接給出)
4.退出容器,復制容器中配置文件到宿主機
5.修改配置文件
1、使用Lua查詢Nginx緩存,如果有緩存,則直接將緩存中的分類數據返回
2、如果Nginx緩存中沒有分類數據,則通過Lua腳本查詢Redis,如果Redis中有數據,則將數據存入到Nginx緩存中,並返回查詢到的數據
3、如果Redis中也沒有緩存,則此時通過Lua腳本查詢Mysql,如果Mysql中有數據,將分類數據存入到Redis緩存,並返回數據
4. redis 怎麼緩存用戶列表,做到可以分頁展示
redis是類似key_value形式的快速緩存服務。類型較豐富,可以保存對象、列表等,支持的操作也很豐富,屬於內存資料庫,且可以把內存中的數據及時或定時的寫入到磁碟。可設置過期自動刪除,速度快,易於使用。