㈠ JAVA目前比較常用的緩存有哪些 集中式緩存與分布式緩存有何區別 它們應用場景是
java目前常用的緩存：
Generic
JCache (JSR-107) (EhCache 3, Hazelcast, Infinispan, etc)
EhCache 2.x
Hazelcast
Infinispan
Couchbase
Redis
Caffeine
Guava (deprecated)
Simple
建議使用spring boot集成方式，可插拔，簡單。
集中式緩存適用場景：
1、伺服器集群部署。
2、數據高一致性（任何數據變化都能及時的被查詢到）
分布式緩存適用場景：
系統需要緩存的數據量大
對數據的可用性較高的情況
需要橫向擴展，從而達到緩存的容量無限的要求
㈡ 細說分布式redis
IT培訓>資料庫教程
細說分布式Redis架構設計和踩過的那些坑
作者:課課家教育2015-12-14 10:15:25
摘要：本文章主要分成五個步驟內容講解
Redis、RedisCluster和Codis;
我們更愛一致性;
Codis在生產環境中的使用的經驗和坑們;
對於分布式資料庫和分布式架構的一些看法;
Q & A環節。
Codis是一個分布式Redis解決方案，與官方的純P2P的模式不同，Codis採用的是Proxy-based的方案。今天我們介紹一下Codis及下一個大版本RebornDB的設計，同時會介紹一些Codis在實際應用場景中的tips。最後拋磚引玉，會介紹一下我對分布式存儲的一些觀點和看法，望各位首席們雅正。
細說分布式Redis架構設計和踩過的那些坑_redis 分布式_ redis 分布式鎖_分布式緩存redis
一、 Redis，RedisCluster和Codis
Redis：想必大家的架構中，Redis已經是一個必不可少的部件，豐富的數據結構和超高的性能以及簡單的協議，讓Redis能夠很好的作為資料庫的上游緩存層。但是我們會比較擔心Redis的單點問題，單點Redis容量大小總受限於內存，在業務對性能要求比較高的情況下，理想情況下我們希望所有的數據都能在內存裡面，不要打到資料庫上，所以很自然的就會尋求其他方案。 比如，SSD將內存換成了磁碟，以換取更大的容量。更自然的想法是將Redis變成一個可以水平擴展的分布式緩存服務，在Codis之前，業界只有Twemproxy，但是Twemproxy本身是一個靜態的分布式Redis方案，進行擴容/縮容時候對運維要求非常高，而且很難做到平滑的擴縮容。Codis的目標其實就是盡量兼容Twemproxy的基礎上，加上數據遷移的功能以實現擴容和縮容，最終替換Twemproxy。從豌豆莢最後上線的結果來看，最後完全替換了Twem，大概2T左右的內存集群。
Redis Cluster ：與Codis同期發布正式版的官方cl
㈢ redis是怎麼分布式緩存數據的
Redis使用單線程的IO復用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現了epoll、kqueue和select，對於單純只有IO操作來說，單線程可以將速度優勢發揮到最大，但是Redis也提供了一些簡單的計算功能
比如排序、聚合等，對於這些操作，單線程模型實際會嚴重影響整體吞吐量，CPU計算過程中，整個IO調度都是被阻塞住的。
㈣ redis如何分布式部署
redis 的持久化：
快照（snapshot）：特定時間、特定命令、特定條件來觸發，把某一時刻在內存中的數據全部寫出到硬碟當中去。
快照的時間不是實時的，可能會有數據的丟失。
在宕機之後，會把全部mp文件中的數據讀入到內存中，會I/O密集。
AOF（append only file）：每一次更新都會記錄日誌。日誌文件是在快照的基礎上來寫的。
（在AOF這里的「快照」跟上面的「快照」不是一個東西。）
redis的 rdb 和 aof 持久化的區別：
參考：http://ptc.35.com/?p=275
aof，rdb是兩種 redis持久化的機制。用於crash後，redis的恢復。
rdb的特性如下：
Code:
fork一個進程，遍歷hash table，利用 on write，把整個db mp保存下來。
save, shutdown, slave 命令會觸發這個操作。
粒度比較大，如果save, shutdown, slave 之前crash了，則中間的操作沒辦法恢復。
aof有如下特性：
Code:
把寫操作指令，持續的寫到一個類似日誌文件里。（類似於從postgresql等資料庫導出sql一樣，只記錄寫操作）
粒度較小，crash之後，只有crash之前沒有來得及做日誌的操作沒辦法恢復。
兩種區別就是，一個是持續的用日誌記錄寫操作，crash後利用日誌恢復；一個是平時寫操作的時候不觸發寫，只有手動提交save命令，或者是關閉命令時，才觸發備份操作。
選擇的標准，就是看系統是願意犧牲一些性能，換取更高的緩存一致性（aof），還是願意寫操作頻繁的時候，不啟用備份來換取更高的性能，待手動運行save的時候，再做備份（rdb）。rdb這個就更有些 eventually consistent的意思了。
㈤ 分布式緩存的作用
分布式緩存主要用於在高並發環境下，減輕資料庫的壓力，提高系統的響應速度和並發吞吐。當大量的讀、寫請求湧向資料庫時，磁碟的處理速度與內存顯然不在一個量級，因此，在資料庫之前加一層緩存，能夠顯著提高系統的響應速度，並降低資料庫的壓力。作為傳統的關系型資料庫，MySQL提供完整的ACID操作，支持豐富的數據類型、強大的關聯查詢、where語句等，能夠非常客易地建立查詢索引，執行復雜的內連接、外連接、求和、排序、分組等操作，並且支持存儲過程、函數等功能，產品成熟度高，功能強大。但是，對於需要應對高並發訪問並且存儲海量數據的場景來說，出於對性能的考慮，不得不放棄很多傳統關系型資料庫原本強大的功能，犧牲了系統的易用性，並且使得系統的設計和管理變得更為復雜。這也使得在過去幾年中，流行著另一種新的存儲解決方案——NoSQL，它與傳統的關系型資料庫最大的差別在於，它不使用SQL作為查詢語言來查找數據，而採用key-value形式進行查找，提供了更高的查詢效率及吞吐，並且能夠更加方便地進行擴展，存儲海量數據，在數千個節點上進行分區，自動進行數據的復制和備份。在分布式系統中，消息作為應用間通信的一種方式，得到了十分廣泛的應用。消息可以被保存在隊列中，直到被接收者取出，由於消息發送者不需要同步等待消息接收者的響應，消息的非同步接收降低了系統集成的耦合度，提升了分布式系統協作的效率，使得系統能夠更快地響應用戶，提供更高的吞吐。
當系統處於峰值壓力時，分布式消息隊列還能夠作為緩沖，削峰填谷，緩解集群的壓力，避免整個系統被壓垮。垂直化的搜索引擎在分布式系統中是一個非常重要的角色，它既能夠滿足用戶對於全文檢索、模糊匹配的需求，解決資料庫like查詢效率低下的問題，又能夠解決分布式環境下，由於採用分庫分表，或者使用NoSQL資料庫，導致無法進行多表關聯或者進行復雜查詢的問題。
㈥ 如何使用redis做mysql的緩存
應用Redis實現數據的讀寫，同時利用隊列處理器定時將數據寫入MySQL。
同時要注意避免沖突，在redis啟動時去mysql讀取所有表鍵值存入redis中，往redis寫數據時，對redis主鍵自增並進行讀取，若mysql更新失敗，則需要及時清除緩存及同步redis主鍵。
這樣處理，主要是實時讀寫redis，而mysql數據則通過隊列非同步處理，緩解mysql壓力，不過這種方法應用場景主要基於高並發，而且redis的高可用集群架構相對更復雜，一般不是很推薦。
《內存資料庫和mysql的同步機制》
redis如何做到和mysql資料庫的同步
【方案一】http://www.hu.com/question/23401553?sort=created
程序實現mysql更新、添加、刪除就刪除redis數據。
程序查詢redis，不存在就查詢mysql並保存redis
redis和mysql數據的同步，代碼級別大致可以這樣做：
讀: 讀redis->沒有，讀mysql->把mysql數據寫回redis
寫: 寫mysql->成功，寫redis（捕捉所有mysql的修改，寫入和刪除事件，對redis進行操作）
【方案二】http://www.linuxidc.com/Linux/2015-01/380.htm
實時獲取mysql binlog進行解析，然後修改redis
MySQL到Redis數據方案
無論MySQL還是Redis，自身都帶有數據同步的機制，像比較常用的MySQL的Master/Slave模式，就是由Slave端分析Master的binlog來實現的，這樣的數據其實還是一個非同步過程，只不過當伺服器都在同一內網時，非同步的延遲幾乎可以忽略。
那麼理論上我們也可以用同樣方式，分析MySQL的binlog文件並將數據插入Redis。但是這需要對binlog文件以及MySQL有非常深入的理解，同時由於binlog存在Statement/Row/Mixedlevel多種形式，分析binlog實現同步的工作量是非常大的。
因此這里選擇了一種開發成本更加低廉的方式，借用已經比較成熟的MySQL UDF，將MySQL數據首先放入Gearman中，然後通過一個自己編寫的PHP Gearman Worker，將數據同步到Redis。比分析binlog的方式增加了不少流程，但是實現成本更低，更容易操作。
【方案三】
使用mysql的udf，詳情請看MySQL :: MySQL 5.1 Reference Manual :: 22.3 Adding New Functions to MySQL 然後通過trigger在表update和insert之後進行函數的調用，寫入到redis中去。大致是這個樣子。
【http://www.hu.com/question/27738066】
1.首先明確是不是一定要上緩存，當前架構的瓶頸在哪裡，若瓶頸真是資料庫操作上，再繼續往下看。
2.明確memcached和redis的區別，到底要使用哪個。前者終究是個緩存，不可能永久保存數據（LRU機制），支持分布式，後者除了緩存的同時也支持把數據持久化到磁碟等，redis要自己去實現分布式緩存（貌似最新版本的已集成），自己去實現一致性hash。因為不知道你們的應用場景，不好說一定要用memcache還是redis，說不定用MongoDB會更好，比如在存儲日誌方面。
3.緩存量大但又不常變化的數據，比如評論。
4.你的思路是對的，清晰明了，讀DB前，先讀緩存，如果有直接返回，如果沒有再讀DB，然後寫入緩存層並返回。
5.考慮是否需要主從，讀寫分離，考慮是否分布式部署，考慮是否後續水平伸縮。
6.想要一勞永逸，後續維護和擴展方便，那就將現有的代碼架構優化，按你說的替換資料庫組件需要改動大量代碼，說明當前架構存在問題。可以利用現有的一些框架，比如SpringMVC，將你的應用層和業務層和資料庫層解耦。再上緩存之前把這些做好。
7.把讀取緩存等操作做成服務組件，對業務層提供服務，業務層對應用層提供服務。
8.保留原始資料庫組件，優化成服務組件，方便後續業務層靈活調用緩存或者是資料庫。
9.不建議一次性全量上緩存，最開始不動核心業務，可以將邊緣業務先換成緩存組件，一步步換至核心業務。
10.刷新內存，以memcached為例，新增，修改和刪除操作，一般採用lazy load的策略，即新增時只寫入資料庫，並不會馬上更新Memcached，而是等到再次讀取時才會載入到Memcached中，修改和刪除操作也是更新資料庫，然後將Memcached中的數據標記為失效，等待下次讀取時再載入。
㈦ redis分布式 為什麼還要主從
redis 分布式，主從同步
張映 發表於 2011-06-27
分類目錄： cache, nosql
標簽：master, redis, slave, 主從, 分布式, 集群
redis和memcache比較像的，memcache可以實現伺服器的集群，redis肯定也是可以的。下面在一台機，實現redis主從復制。
1，一下redis.conf，生成一個從機的配置
cp /usr/local/redis/redis.conf /usr/local/redis/redis_slave.conf
2，修改主伺服器的配置redis.conf
bind 127.0.0.1
3，修改從伺服器的配置redis_slave.conf
pidfile /usr/local/redis/var/redis_slave.pid
port 10002
bind 127.0.0.1
logfile /usr/local/redis/var/redis_slave.log
dbfilename mp_slave.rdb
slaveof 127.0.0.1 6379
4，啟動主伺服器，從伺服器
redis-server /usr/local/redis/redis.conf
redis-server /usr/local/redis/redis_slave.conf
查看一下，redis.log文件會有以下內容
[3774] 27 Jun 12:53:32 * The server is now ready to accept connections on port 10002
[3774] 27 Jun 12:53:32 - 0 clients connected (0 slaves), 539568 bytes in use
[3774] 27 Jun 12:53:32 * Connecting to MASTER...
[3772] 27 Jun 12:53:32 - Accepted 127.0.0.1:33237
[3772] 27 Jun 12:53:32 * Slave ask for synchronization
[3772] 27 Jun 12:53:32 * Starting BGSAVE for SYNC
[3772] 27 Jun 12:53:32 * Background saving started by pid 3775
[3774] 27 Jun 12:53:32 * MASTER <-> SLAVE sync started: SYNC sent
[3775] 27 Jun 12:53:32 * DB saved on disk
[3772] 27 Jun 12:53:33 * Background saving terminated with success
[3772] 27 Jun 12:53:33 * Synchronization with slave succeeded
[3774] 27 Jun 12:53:33 * MASTER <-> SLAVE sync: receiving 333 bytes from master
[3774] 27 Jun 12:53:33 * MASTER <-> SLAVE sync: Loading DB in memory
[3774] 27 Jun 12:53:33 * MASTER <-> SLAVE sync: Finished with success
查看一下
root@ubuntu:/usr/local/redis# ps -e|grep redis
3774 ? 00:00:00 redis-server
4148 ? 00:00:00 redis-server
5，測試結果
<?php
$redis = new redis();
$redis->connect('127.0.0.1', 6379);
$redis->set('test',json_encode(array(1,2,3,4)));
print_r(json_decode($redis->get('test')));
?>
root@ubuntu:/usr/local/redis# telnet 127.0.0.1 10002
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get test
$9
[1,2,3,4]
緩存數據是放在6379這個埠的伺服器上，代碼執行後，登錄到10002埠的slave伺服器上也可以看到有數據，說明已經同步了。
我嘗試了一下，redis的主主同步，但是沒有成功，我看了一下log，以從伺服器127.0.0.1 10002為master的時候，同時啟動二個埠，怎麼也連接不上127.0.0.1 6379是不支持呢？還是配置有問題，我在網上查了一下，沒看到有人配置主主同步的。
㈧ redis怎麼實現資料庫的緩存
大致為兩種措施：
一、腳本同步：
1、自己寫腳本將資料庫數據寫入到redis/memcached。
2、這就涉及到實時數據變更的問題（mysql row binlog的實時分析），binlog增量訂閱Alibaba 的canal ，以及緩存層數據 丟失/失效 後的數據同步恢復問題。
二、業務層實現：
1、先讀取nosql緩存層，沒有數據再讀取mysql層，並寫入數據到nosql。
2、nosql層做好多節點分布式（一致性hash），以及節點失效後替代方案（多層hash尋找相鄰替代節點），和數據震盪恢復了。
㈨ 什麼是分布式緩存
分布式緩存能夠處理大量的動態數據，因此比較適合應用在Web 2.0時代中的社交網站等需要由用戶生成內容的場景。從本地緩存擴展到分布式緩存後，關注重點從CPU、內存、緩存之間的數據傳輸速度差異也擴展到了業務系統、資料庫、分布式緩存之間的數據傳輸速度差異。
常用的分布式緩存包括Redis和Memcached。
Memcached
Memcached是一個高性能的分布式內存對象緩存系統，用於動態Web應用以減輕資料庫負載。Memcached通過在內存中緩存數據和對象來減少讀取資料庫的次數，從而提高動態、資料庫驅動網站的速度。
特點：哈希方式存儲；全內存操作；簡單文本協議進行數據通信；只操作字元型數據；集群由應用進行控制，採用一致性哈希演算法。
限制性：數據保存在內存當中的，一旦機器重啟，數據會全部丟失；只能操作字元型數據，數據類型貧乏；以root許可權運行，而且Memcached本身沒有任何許可權管理和認證功能，安全性不足；能存儲的數據長度有限，最大鍵長250個字元，儲存數據不能超過1M。
Redis
Redis是一個開源的使用ANSI C語言編寫、支持網路、可基於內存亦可持久化的日誌型、Key-Value資料庫，並提供多種語言的API。
特點：
Redis支持的數據類型包括：字元串、string、hash、set、sortedset、list；Redis實現持久化的方式：定期將內存快照寫入磁碟；寫日誌；Redis支持主從同步。
限制性：單核運行，在存儲大數據的時候性能會有降低；不是全內存操作；主從復制是全量復制，對實際的系統運營造成了一定負擔。