Ⅰ java學習書籍有哪些比較好
Thinking in java
這個就不用說了,世界都知道
...
java與模式\深入java虛擬機第二版\Java數據結構和演算法中文第二版 都是很經典的書,後面一點的,看書都沒用,去找視頻或者直接找例子來看,進步更快,
http://www.verycd.com/topics/93279/
Ⅱ 什麼是雲存儲技術
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。
雲存儲的兩個層面
雲存儲的兩個層面是作為雲計算支撐的存儲計算，主要涉及分布式存儲(如分布式文件系統、IPSAN、數據同步、復制)、數據存儲(如重復數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域，如圖8-30所示，這在第6章中已有所介紹。和雲安全技術一樣，雲存儲技術也需要利用現有的所有存儲技術針對雲計算三層架構的各個環節採用適當的存儲技術，才能取得最佳效果，例如，對應不同需求，有時應該使用資料庫技術但有時卻應該使用LDAP技術，有些性能要求高的系統不能使用SAN或NAS，需直接使用基於RPC或Socket技術的並發文件系統，有些應用使用SAN成本太高等，這里不再做深入介紹。如圖8-31所示是一個採用NetApp FAS、思科 UCS和 VMWare vShpere 4技術打造的存儲系統，對上述兩種雲存儲技術和應用都有促進作用。雲存儲架構
分為兩類：一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。
傳統的系統利用緊耦合對稱架構，這種架構的設計旨在解決HPC(高性能計算、超級運算)問題，現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構，集中元數據和控制操作，這種架構並不非常適合高性能HPC，但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下：
緊耦合對稱(TCS)架構
構建TCS系統是為了解決單一文件性能所面臨的挑戰，這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲，因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品，很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效，幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進，需要一定程度的技術經驗才能安裝和使用。
鬆弛耦合非對稱(LCA)架構
LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作，而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處，允許進行新層次的擴展：
● 存儲節點可以將重點放在提供讀寫服務的要求上，而不需要來自網路節點的確認信息。
● 節點可以利用不同的商品硬體CPU和存儲配置，而且仍然在雲存儲中發揮作用。
● 用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。
● 消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要，如光纖通道或infiniband，從而進一步降低成本。
● 異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲，同時還能提供永久的數據可用性。
● 擁有集中元數據意味著，存儲節點可以旋轉地進行深層次應用程序歸檔，而且在控制節點上，元數據經常都是可用的。
Ⅲ SpringCache優化、緩存一致性、多級緩存
先記錄一些綱要
1、SpringCache是寫庫之後更新的策略，對緩存一致性的不太友好
2、繼承RedisCacheManager重寫createRedisCache，繼承RedisCache重寫put
3、緩存一致性有兩個方案，一個是先寫庫再刪除緩存、第二個是先刪除緩存再寫庫。
先寫庫再刪除緩存配合超時時間一般沒啥問題，極端的情況遇到緩存失效，線程讀庫和加緩存之間，完成了一次寫庫和刪緩存的操作，導致加的緩存是舊的。總結就是讀中加入了一次寫。A讀庫 B寫庫 B刪緩存 A加緩存。
先刪緩存再寫庫的話，是寫中加入了一次讀。A刪緩存 B讀庫 B加緩存 A寫庫A。這個概率比上面的大。
這兩種方案的問題的解決方式是一樣的，就是延時雙刪策略。即：
刪緩存 寫庫 延時再次刪除緩存（需超過一次讀庫的時間，可以新啟線程完成）
或者 寫庫 刪緩存 延時再次刪除緩存（需超過一次讀庫的時間，可以新啟線程完成）
如果有主從讀寫分離，需要將延時再加上主從同步的時間。
還有個第二次刪除失敗的問題，這個問題可以通過消息中間件，反復嘗試進行。或者通過訂閱binlog，反復進行。
多級緩存可以參考阿里開源的JetCache的實現
後面會給出demo和源碼解析。
Ⅳ 分庫分表 VS newsql資料庫
最近與同行 科技 交流，經常被問到分庫分表與分布式資料庫如何選擇，網上也有很多關於中間件+傳統關系資料庫（分庫分表）與NewSQL分布式資料庫的文章，但有些觀點與判斷是我覺得是偏激的，脫離環境去評價方案好壞其實有失公允。
本文通過對兩種模式關鍵特性實現原理對比，希望可以盡可能客觀、中立的闡明各自真實的優缺點以及適用場景。
首先關於「中間件+關系資料庫分庫分表」算不算NewSQL分布式資料庫問題，國外有篇論文pavlo-newsql-sigmodrec，如果根據該文中的分類，Spanner、TiDB、OB算是第一種新架構型，Sharding-Sphere、Mycat、DRDS等中間件方案算是第二種（文中還有第三種雲資料庫，本文暫不詳細介紹）。
基於中間件（包括SDK和Proxy兩種形式）+傳統關系資料庫（分庫分表）模式是不是分布式架構？我覺得是的，因為存儲確實也分布式了，也能實現橫向擴展。但是不是"偽"分布式資料庫？從架構先進性來看，這么說也有一定道理。"偽"主要體現在中間件層與底層DB重復的SQL解析與執行計劃生成、存儲引擎基於B+Tree等，這在分布式資料庫架構中實際上冗餘低效的。為了避免引起真偽分布式資料庫的口水戰，本文中NewSQL資料庫特指這種新架構NewSQL資料庫。
NewSQL資料庫相比中間件+分庫分表的先進在哪兒？畫一個簡單的架構對比圖：
這些大多也是NewSQL資料庫產品主要宣傳的點，不過這些看起來很美好的功能是否真的如此？接下來針對以上幾點分別闡述下的我的理解。
這是把雙刃劍。
CAP限制
想想更早些出現的NoSQL資料庫為何不支持分布式事務（最新版的mongoDB等也開始支持了），是缺乏理論與實踐支撐嗎？並不是，原因是CAP定理依然是分布式資料庫頭上的頸箍咒，在保證強一致的同時必然會犧牲可用性A或分區容忍性P。為什麼大部分NoSQL不提供分布式事務？
那麼NewSQL資料庫突破CAP定理限制了嗎？並沒有。NewSQL資料庫的鼻主Google Spanner（目前絕大部分分布式資料庫都是按照Spanner架構設計的）提供了一致性和大於5個9的可用性，宣稱是一個「實際上是CA」的，其真正的含義是 系統處於 CA 狀態的概率非常高，由於網路分區導致的服務停用的概率非常小 ，究其真正原因是其打造私有全球網保證了不會出現網路中斷引發的網路分區，另外就是其高效的運維隊伍,這也是cloud spanner的賣點。詳細可見CAP提出者Eric Brewer寫的《Spanner, TrueTime 和CAP理論》。
完備性 ：
兩階段提交協議是否嚴格支持ACID，各種異常場景是不是都可以覆蓋？
2PC在commit階段發送異常，其實跟最大努力一階段提交類似也會有部分可見問題，嚴格講一段時間內並不能保證A原子性和C一致性（待故障恢復後recovery機制可以保證最終的A和C）。完備的分布式事務支持並不是一件簡單的事情，需要可以應對網路以及各種硬體包括網卡、磁碟、CPU、內存、電源等各類異常，通過嚴格的測試。之前跟某友商交流，他們甚至說目前已知的NewSQL在分布式事務支持上都是不完整的，他們都有案例跑不過，圈內人士這么篤定，也說明了 分布式事務的支持完整程度其實是層次不齊的。
但分布式事務又是這些NewSQL資料庫的一個非常重要的底層機制，跨資源的DML、DDL等都依賴其實現，如果這塊的性能、完備性打折扣，上層跨分片SQL執行的正確性會受到很大影響。
性能
傳統關系資料庫也支持分布式事務XA，但為何很少有高並發場景下用呢？ 因為XA的基礎兩階段提交協議存在網路開銷大，阻塞時間長、死鎖等問題，這也導致了其實際上很少大規模用在基於傳統關系資料庫的OLTP系統中。
NewSQL資料庫的分布式事務實現也仍然多基於兩階段提交協議，例如google percolator分布式事務模型，
採用原子鍾+MVCC+ Snapshot Isolation（SI），這種方式通過TSO(Timestamp Oracle)保證了全局一致性，通過MVCC避免了鎖，另外通過primary lock和secondary lock將提交的一部分轉為非同步，相比XA確實提高了分布式事務的性能。
但不管如何優化，相比於1PC，2PC多出來的GID獲取、網路開銷、prepare日誌持久化還是會帶來很大的性能損失，尤其是跨節點的數量比較多時會更加顯著，例如在銀行場景做個批量扣款，一個文件可能上W個賬戶，這樣的場景無論怎麼做還是吞吐都不會很高。
雖然NewSQL分布式資料庫產品都宣傳完備支持分布式事務，但這並不是說應用可以完全不用關心數據拆分，這些資料庫的最佳實踐中仍然會寫到，應用的大部分場景盡可能避免分布式事務。
既然強一致事務付出的性能代價太大，我們可以反思下是否真的需要這種強一致的分布式事務？尤其是在做微服務拆分後，很多系統也不太可能放在一個統一的資料庫中。嘗試將一致性要求弱化，便是柔性事務，放棄ACID(Atomicity,Consistency, Isolation, Durability)，轉投BASE(Basically Available,Soft state,Eventually consistent)，例如Saga、TCC、可靠消息保證最終一致等模型，對於大規模高並發OLTP場景，我個人更建議使用柔性事務而非強一致的分布式事務。關於柔性事務，筆者之前也寫過一個技術組件，最近幾年也涌現出了一些新的模型與框架（例如阿里剛開源的Fescar），限於篇幅不再贅述，有空再單獨寫篇文章。
HA與異地多活
主從模式並不是最優的方式，就算是半同步復制，在極端情況下（半同步轉非同步）也存在丟數問題，目前業界公認更好的方案是基於paxos分布式一致性協議或者其它類paxos如raft方式，Google Spanner、TiDB、cockcoachDB、OB都採用了這種方式，基於Paxos協議的多副本存儲，遵循過半寫原則，支持自動選主，解決了數據的高可靠，縮短了failover時間，提高了可用性，特別是減少了運維的工作量，這種方案技術上已經很成熟，也是NewSQL資料庫底層的標配。
當然這種方式其實也可以用在傳統關系資料庫，阿里、微信團隊等也有將MySQL存儲改造支持paxos多副本的，MySQL也推出了官方版MySQL Group Cluster，預計不遠的未來主從模式可能就成為 歷史 了。
需要注意的是很多NewSQL資料庫廠商宣傳基於paxos或raft協議可以實現【異地多活】，這個實際上是有前提的，那就是異地之間網路延遲不能太高 。以銀行「兩地三中心」為例，異地之間多相隔數千里，延時達到數十毫秒，如果要多活，那便需異地副本也參與資料庫日誌過半確認，這樣高的延時幾乎沒有OLTP系統可以接受的。
資料庫層面做異地多活是個美好的願景，但距離導致的延時目前並沒有好的方案。 之前跟螞蟻團隊交流，螞蟻異地多活的方案是在應用層通過MQ同步雙寫交易信息，異地DC將交易信息保存在分布式緩存中，一旦發生異地切換，資料庫同步中間件會告之數據延遲時間，應用從緩存中讀取交易信息，將這段時間內涉及到的業務對象例如用戶、賬戶進行黑名單管理，等數據同步追上之後再將這些業務對象從黑名單中剔除。由於雙寫的不是所有資料庫操作日誌而只是交易信息，數據延遲隻影響一段時間內數據，這是目前我覺得比較靠譜的異地度多活方案。
另外有些系統進行了單元化改造，這在paxos選主時也要結合考慮進去，這也是目前很多NewSQL資料庫欠缺的功能。
Scale橫向擴展與分片機制
paxos演算法解決了高可用、高可靠問題，並沒有解決Scale橫向擴展的問題，所以分片是必須支持的。NewSQL資料庫都是天生內置分片機制的，而且會根據每個分片的數據負載(磁碟使用率、寫入速度等)自動識別熱點，然後進行分片的分裂、數據遷移、合並，這些過程應用是無感知的，這省去了DBA的很多運維工作量。以TiDB為例，它將數據切成region，如果region到64M時，數據自動進行遷移。
分庫分表模式下需要應用設計之初就要明確各表的拆分鍵、拆分方式（range、取模、一致性哈希或者自定義路由表）、路由規則、拆分庫表數量、擴容方式等。相比NewSQL資料庫，這種模式給應用帶來了很大侵入和復雜度，這對大多數系統來說也是一大挑戰。
這里有個問題是NewSQL資料庫統一的內置分片策略（例如tidb基於range）可能並不是最高效的，因為與領域模型中的劃分要素並不一致，這導致的後果是很多交易會產生分布式事務。 舉個例子，銀行核心業務系統是以客戶為維度，也就是說客戶表、該客戶的賬戶表、流水表在絕大部分場景下是一起寫的，但如果按照各表主鍵range進行分片，這個交易並不能在一個分片上完成，這在高頻OLTP系統中會帶來性能問題。
分布式SQL支持
常見的單分片SQL，這兩者都能很好支持。NewSQL資料庫由於定位與目標是一個通用的資料庫，所以支持的SQL會更完整，包括跨分片的join、聚合等復雜SQL。中間件模式多面向應用需求設計，不過大部分也支持帶拆分鍵SQL、庫表遍歷、單庫join、聚合、排序、分頁等。但對跨庫的join以及聚合支持就不夠了。
NewSQL資料庫一般並不支持存儲過程、視圖、外鍵等功能，而中間件模式底層就是傳統關系資料庫，這些功能如果只是涉及單庫是比較容易支持的。
NewSQL資料庫往往選擇兼容MySQL或者PostgreSQL協議，所以SQL支持僅局限於這兩種，中間件例如驅動模式往往只需做簡單的SQL解析、計算路由、SQL重寫，所以可以支持更多種類的資料庫SQL。
SQL支持的差異主要在於分布式SQL執行計劃生成器，由於NewSQL資料庫具有底層數據的分布、統計信息，因此可以做CBO，生成的執行計劃效率更高，而中間件模式下沒有這些信息，往往只能基於規則RBO（Rule-Based-Opimization），這也是為什麼中間件模式一般並不支持跨庫join，因為實現了效率也往往並不高，還不如交給應用去做。
存儲引擎
傳統關系資料庫的存儲引擎設計都是面向磁碟的，大多都基於B+樹。B+樹通過降低樹的高度減少隨機讀、進而減少磁碟尋道次數，提高讀的性能，但大量的隨機寫會導致樹的分裂，從而帶來隨機寫，導致寫性能下降。NewSQL的底層存儲引擎則多採用LSM，相比B+樹LSM將對磁碟的隨機寫變成順序寫，大大提高了寫的性能。不過LSM的的讀由於需要合並數據性能比B+樹差，一般來說LSM更適合應在寫大於讀的場景。當然這只是單純數據結構角度的對比，在資料庫實際實現時還會通過SSD、緩沖、bloom filter等方式優化讀寫性能，所以讀性能基本不會下降太多。NewSQL數據由於多副本、分布式事務等開銷，相比單機關系資料庫SQL的響應時間並不佔優，但由於集群的彈性擴展，整體QPS提升還是很明顯的，這也是NewSQL資料庫廠商說分布式資料庫更看重的是吞吐，而不是單筆SQL響應時間的原因。
成熟度與生態
分布式資料庫是個新型通用底層軟體，准確的衡量與評價需要一個多維度的測試模型，需包括發展現狀、使用情況、社區生態、監控運維、周邊配套工具、功能滿足度、DBA人才、SQL兼容性、性能測試、高可用測試、在線擴容、分布式事務、隔離級別、在線DDL等等，雖然NewSQL資料庫發展經過了一定時間檢驗，但多集中在互聯網以及傳統企業非核心交易系統中，目前還處於快速迭代、規模使用不斷優化完善的階段。
相比而言，傳統關系資料庫則經過了多年的發展，通過完整的評測，在成熟度、功能、性能、周邊生態、風險把控、相關人才積累等多方面都具有明顯優勢，同時對已建系統的兼容性也更好。
對於互聯網公司，數據量的增長壓力以及追求新技術的基因會更傾向於嘗試NewSQL資料庫，不用再考慮庫表拆分、應用改造、擴容、事務一致性等問題怎麼看都是非常吸引人的方案。
對於傳統企業例如銀行這種風險意識較高的行業來說，NewSQL資料庫則可能在未來一段時間內仍處於 探索 、審慎試點的階段。基於中間件+分庫分表模式架構簡單，技術門檻更低，雖然沒有NewSQL資料庫功能全面，但大部分場景最核心的訴求也就是拆分後SQL的正確路由，而此功能中間件模式應對還是綽綽有餘的，可以說在大多數OLTP場景是夠用的。
限於篇幅，其它特性例如在線DDL、數據遷移、運維工具等特性就不在本文展開對比。
總結
如果看完以上內容，您還不知道選哪種模式，那麼結合以下幾個問題，先思考下NewSQL資料庫解決的點對於自身是不是真正的痛點：
如果以上有2到3個是肯定的，那麼你可以考慮用NewSQL資料庫了，雖然前期可能需要一定的學習成本，但它是資料庫的發展方向，未來收益也會更高，尤其是互聯網行業，隨著數據量的突飛猛進，分庫分表帶來的痛苦會與日俱增。當然選擇NewSQL資料庫你也要做好承擔一定風險的准備。
如果你還未做出抉擇，不妨再想想下面幾個問題：
如果這些問題有多數是肯定的，那還是分庫分表吧。在軟體領域很少有完美的解決方案，NewSQL資料庫也不是數據分布式架構的銀彈。相比而言分庫分表是一個代價更低、風險更小的方案，它最大程度復用傳統關系資料庫生態，通過中間件也可以滿足分庫分表後的絕大多數功能，定製化能力更強。 在當前NewSQL資料庫還未完全成熟的階段，分庫分表可以說是一個上限低但下限高的方案，尤其傳統行業的核心系統，如果你仍然打算把資料庫當做一個黑盒產品來用，踏踏實實用好分庫分表會被認為是個穩妥的選擇。
很多時候軟體選型取決於領域特徵以及架構師風格，限於筆者知識與所屬行業特點所限，以上僅為個人粗淺的一些觀點，歡迎討論。