1. 求 分布式对象存储 原理 架构及Go语言实现 pdf
分布式对象存储系统的书，代码是用 GO 实现的，书上当然写的不全。不知道视频会全否？但是大体的思路和应该实现的功能都讲到了。还是不错的。至少在思路指导上。还有这种系统业界的标准是亚马逊的 AWS s3 那么参考它们的 SDK API 来实现是有必要了。兼容标准嘛。
2. 系统架构 分布式 哪本书比较好
Distributed Computer Systems Engineering——经典和详细的介绍了分布式系统的技术和工程实现经验，值得每个做分布式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。
补充三篇论文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文。
2. The Chubby lock service for loosely-coupled distributed systems，这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Maprece和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，着名的zookeeper就是基于Chubby的开源实现，但是根据在Google工作的朋友讲，zookeeper跟Chubby在性能和功能上都还有差距。
3. Spanner: Google's Globally-Distributed Database，这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义。
另外，还有一本书:
刚出的，读了一下样章，感觉还不错，一起推荐给大家——《大规模分布式存储系统:原理解析与架构实战》
3. 分布式架构的对比
EMC VMAX
VMAX架构包含1个到8个VMAX引擎（存储节点）。这些引擎相互连接在一起，被称为虚拟Matrix架构。每个引擎都可以当作存储阵列，拥有自己的前端主机端口连接、后端磁盘导向器、高速缓存（内部镜像化）和处理器。VMAX引擎使用Matrix接口主板封装器（MIBE）连接在一起。MIBE有副本以备冗余。虚拟Matrix可以进行引擎之间的记忆体访问。当主机访问端口和数据不在同一个引擎上的时候需要虚拟Matrix提供连接性。
3Par InServ
3Par由多个存储节点组成。这些存储节点汇集到一个高速连接上。3Par称之为InSpire架构。2到8个节点（按对配置）连接到一个被动背板，每个节点之间的带宽可高达1.6Gb/秒。3Par如图所示展示他们的8节点架构，连接的数量很容易就能看清楚。我还看到2节点、4节点、6节点和8节点部署下的连接是如何增加的。InServ阵列按对写入高速缓存数据，因此每个节点都有一个伴点。如果一个节点发生故障，伴点上的高速缓存可以马上写入另一个节点，从而保护高速缓存数据。
IBM XIV
IBM XIV阵列采用的是另一种节点设置方式。节点直接连接到底层硬件的数据保护机制。XIV只使用RIAD-1类型的保护，采用的是1MB大小的数据块，也称为分区。数据以伪随机方式均匀分布在节点上，确保对任何LUN来说，数据都是写入在所有节点上。本文底部的XIV图片显示了这个架构。节点（在XIV中称为模块）分成接口模块和数据模块。接口模块有自己的高速缓存、处理器、数据磁盘和主机接口。数据模块没有主机接口，但是仍然有高速缓存、处理器和磁盘。每个模块有12个1TB SATA驱动器。当数据写入阵列的时候，这些1MB分区写入到所有驱动器和模块中，确保任意一个分区的两个镜像对不会都处在同一个模块上。LUN的顺序分区分布在各个模块上。这样做的结果就是所有的模块都参与服务所有的卷，且单个模块的故障不会导致数据丢失。
4. 分布式存储系统架构设计，应该遵循什么样的原则
分布式存储分很多类型啊，对称/非对称 并行IO/串行IO，不同需求有不同架构思路。没有设计目标不要谈原则。
5. 集中式存储和分布式存储可以共同部署吗
不能共同部署的，面对如何数据增长的趋势，分布式存储更加具备优势；
分布式和集中式存储的选择
集中存储的优缺点是，物理介质集中布放;视频流上传到中心对机房环境要求高，要求机房空间大，承重、空调等都是需要考虑的问题。
分布存储，集中管理的优缺点是，物理介质分布到不同的地理位置;视频流就近上传，对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低;小容量设备分布部署，对机房环境要求低。
杉岩数据专注分布式存储，提供整体的存储解决方案
6. 有没有用Java写的轻量级开源的分布式存储系统
以下内容源于分布式内存文件系统：Tachyon 14年9月的文章
Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC时间等。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="810" data-rawheight="311" class="origin_image zh-lightbox-thumb" width="810" data-original="https://pic3.mg.com/_r.png">
Tachyon架构
Tachyon的架构是传统的Master—slave架构，这里和Hadoop类似，TachyonMaster里WorkflowManager是 Master进程，因为是为了防止单点问题，通过Zookeeper做了HA，可以部署多台Standby Master。Slave是由Worker Daemon和Ramdisk构成。这里个人理解只有Worker Daemon是基于JVM的，Ramdisk是一个off heap memory。Master和Worker直接的通讯协议是Thrift。
下图来自Tachyon的作者Haoyuan Li：
<img src="https://pic4.mg.com/_b.png" data-rawwidth="854" data-rawheight="571" class="origin_image zh-lightbox-thumb" width="854" data-original="https://pic4.mg.com/_r.png">
三、Fault Tolerant
Tachyon是一个分布式文件存储系统，但是如果Tachyon里的容错机制是怎么样的呢？
Tachyon使用血统这个我们在Spark里的RDD里已经很熟悉了，这里也有血统这一概念。会使用血统，通过异步的向Tachyon的底层文件系统做Checkpoint。
当我们向Tachyon里面写入文件的时候，Tachyon会在后台异步的把这个文件给checkpoint到它的底层存储，比如HDFS，S3.. etc...
这里用到了一个Edge的算法，来决定checkpoint的顺序。
比较好的策略是每次当前一个checkpoint完成之后，就会checkpoint一个最新生成的文件。当然想Hadoop，Hive这样的中间文件，需要删除的，是不需要checkpoint的。
下图来自Tachyon的作者Haoyuan Li：
<img src="https://pic1.mg.com/_b.png" data-rawwidth="822" data-rawheight="609" class="origin_image zh-lightbox-thumb" width="822" data-original="https://pic1.mg.com/_r.png">
关于重新计算时，资源的分配策略：
目前Tachyon支持2种资源分配策略：
1、优先级的资源分配策略
2、公平调度的分配策略
<img src="https://pic2.mg.com/_b.png" data-rawwidth="940" data-rawheight="621" class="origin_image zh-lightbox-thumb" width="940" data-original="https://pic2.mg.com/_r.png">
四、总结
Tachyon是一个基于内存的分布式文件系统，通常位于分布式存储系统和计算框架直接，可以在不同框架内共享内存，同时可以减少内存冗余和基于Jvm内存计算框架的GC时间。
Tachyon也有类似RDD的血统概念，input文件和output文件都是会有血统关系，这样来达到容错。并且Tachyon也利用血统关系，异步的做checkpoint，文件丢失情况下，也能利用两种资源分配策略来优先计算丢失掉的资源。
7. 分布式存储和超融合区别及优势
分布式存储是什么
关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
超融合是什么
参考维基网络中的超融合定义：
超融合基础架构（hyper-converged infrastructure）是一个软件定义的 IT 基础架构，它可虚拟化常见“硬件定义”系统的所有元素。HCI 包含的最小集合是：虚拟化计算（hypervisor），虚拟存储（SDS）和虚拟网络。HCI 通常运行在标准商用服务器之上。
超融合基础架构（hyper-converged infrastructure）与 融合基础架构（converged infrastructure）最大的区别在于，在 HCI 里面，无论是存储底层抽象还是存储网络都是在软件层面实现的（或者通过 hypervisor 层面实现），而不是基于物理硬件实现的。由于所有软件定义的元素都围绕 hypervisor 实现，因此在超融合基础架构上的所有实例可以联合共享所有受管理的资源。
分布式存储和超融合区别及优势？
分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。
超融合基础架构从定义中明确提出包含软件定义存储(SDS)，具备硬件解耦的能力，可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似，计算与存储融合，通过全分布式的架构，有效提升系统可靠性与可用性，并具备易于扩展的特性。
SMTX ZBS 分布式块存储架构
除此之外，超融合基础架构有更进一步的扩展，它强调以虚拟化计算（hypervisor）为核心，以软件定义的方式整合包括虚拟化计算， 软件定义存储以及虚拟网络资源。从笔者来看超融合基础架构未来的可能性更多，可促进计算，存储，网络，安全，容灾等等 IT 服务大融合，降低IT 基础架构的复杂性，重新塑造”软件定义的数据中心”。
8. 超融合产品和分布式文件系统的区别是什么
超融合和分布式文件系统，其实两者无论在应用场景，还是在架构设计，都不在同一个层次上。
首先，超融合的出现是为了提高效率、降低运营成本。推动客户选择超融合的主要原因是：
- 敏捷性：在数据中心内具有公共云速度、效率和经济性。
- 可扩展性：从小规模开始，可轻松纵向或横向扩展，同时保持性能水平。
- 简单性：用软件驱动的自动化和生命周期管理来简化运营。
超融合系统不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。超融合基础架构还提供了具有高效可扩展性的虚拟化就绪环境。此外，由于简化了采购和部署并降低了管理成本和复杂性，它还可能实现资本和运营支出的减少。
通常超融合系统采用分布式存储架构，通过增加节点的方式横向扩容，但是不一定是分布式文件系统，比如杉岩的超融合一体机。
而分布式文件系统，通常也通过增加节点的方式横向扩容，提供分布式块存储、分布式文件存储、分布式对象存储等存储服务。但分布式文件系统与超融合并不是同一个层次上的东西。
9. 分布式存储排名前十名有哪些
一、 Ceph
Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。
二、 GFS
GFS是google的分布式文件存储系统，是专为存储海量搜索数据而设计的，2003年提出，是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加，如大文件的读写。注重大文件的持续稳定带宽，而不是单次读写的延迟。
三、 HDFS
HDFS(Hadoop Distributed File System)，是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统，是Hadoop的核心子项目，是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS)，是GFS的一个简化和开源版本。
10. 大规模分布式存储系统的作品目录
前言第1章概述1.1分布式存储概念1.2分布式存储分类第一篇基础篇第2章单机存储系统2.1硬件基础2.1.1CPU架构2.1.2IO总线2.1.3网络拓扑2.1.4性能参数2.1.5存储层次架构2.2单机存储引擎2.2.1哈希存储引擎2.2.2B树存储引擎2.2.3LSM树存储引擎2.3数据模型2.3.1文件模型2.3.2关系模型2.3.3键值模型2.3.4SQL与NoSQL2.4事务与并发控制2.4.1事务2.4.2并发控制2.5故障恢复2.5.1操作日志2.5.2重做日志2.5.3优化手段2.6数据压缩2.6.1压缩算法2.6.2列式存储第3章分布式系统3.1基本概念3.1.1异常3.1.2一致性3.1.3衡量指标3.2性能分析3.3数据分布3.3.1哈希分布3.3.2顺序分布3.3.3负载均衡3.4复制3.4.1复制的概述3.4.2一致性与可用性3.5容错3.5.1常见故障3.5.2故障检测3.5.3故障恢复3.6可扩展性3.6.1总控节点3.6.2数据库扩容3.6.3异构系统3.7分布式协议3.7.1两阶段提交协议3.7.2Paxos协议3.7.3Paxos与2PC3.8跨机房部署第二篇范型篇第4章分布式文件系统4.1Google文件系统4.1.1系统架构4.1.2关键问题4.1.3Master设计4.1.4ChunkServer设计4.1.5讨论4.2Taobao File System4.2.1系统架构4.2.2讨论4.3Facebook Haystack4.3.1系统架构4.3.2讨论4.4内容分发网络4.4.1CDN架构4.4.2讨论第5章分布式键值系统5.1Amazon Dynamo5.1.1数据分布5.1.2一致性与复制5.1.3容错5.1.4负载均衡5.1.5读写流程5.1.6单机实现5.1.7讨论5.2淘宝Tair5.2.1系统架构5.2.2关键问题5.2.3讨论第6章分布式表格系统6.1Google Bigtable6.1.1架构6.1.2数据分布6.1.3复制与一致性6.1.4容错6.1.5负载均衡6.1.6分裂与合并6.1.7单机存储6.1.8垃圾回收6.1.9讨论6.2Google Megastore6.2.1系统架构6.2.2实体组6.2.3并发控制6.2.4复制6.2.5索引6.2.6协调者6.2.7读取流程6.2.8写入流程6.2.9讨论6.3Windows Azure Storage6.3.1整体架构6.3.2文件流层6.3.3分区层6.3.4讨论第7章分布式数据库7.1数据库中间层7.1.1架构7.1.2扩容7.1.3讨论7.2Microsoft SQL Azure7.2.1数据模型7.2.2架构7.2.3复制与一致性7.2.4容错7.2.5负载均衡7.2.6多租户7.2.7讨论7.3Google Spanner7.3.1数据模型7.3.2架构7.3.3复制与一致性7.3.4TrueTime7.3.5并发控制7.3.6数据迁移7.3.7讨论第三篇实践篇第8章OceanBase架构初探8.1背景简介8.2设计思路8.3系统架构8.3.1整体架构图8.3.2客户端8.3.3RootServer8.3.4MergeServer8.3.5ChunkServer8.3.6UpdateServer8.3.7定期合并&数据分发8.4架构剖析8.4.1一致性选择8.4.2数据结构8.4.3可靠性与可用性8.4.4读写事务8.4.5单点性能8.4.6SSD支持8.4.7数据正确性8.4.8分层结构第9章分布式存储引擎9.1公共模块9.1.1内存管理9.1.2基础数据结构9.1.3锁9.1.4任务队列9.1.5网络框架9.1.6压缩与解压缩9.2RootServer实现机制9.2.1数据结构9.2.2子表复制与负载均衡9.2.3子表分裂与合并9.2.4UpdateServer选主9.2.5RootServer主备9.3UpdateServer实现机制9.3.1存储引擎9.3.2任务模型9.3.3主备同步9.4ChunkServer实现机制9.4.1子表管理9.4.2SSTable9.4.3缓存实现9.4.4IO实现9.4.5定期合并&数据分发9.4.6定期合并限速9.5消除更新瓶颈9.5.1读写优化回顾9.5.2数据旁路导入9.5.3数据分区第10章数据库功能10.1整体结构10.2只读事务10.2.1物理操作符接口10.2.2单表操作10.2.3多表操作10.2.4SQL执行本地化10.3写事务10.3.1写事务执行流程10.3.2多版本并发控制10.4OLAP业务支持10.4.1并发查询10.4.2列式存储10.5特色功能10.5.1大表左连接10.5.2数据过期与批量删除第11章质量保证、运维及实践11.1质量保证11.1.1RD开发11.1.2QA测试11.1.3试运行11.2使用与运维11.2.1使用11.2.2运维11.3应用11.3.1收藏夹11.3.2天猫评价11.3.3直通车报表11.4最佳实践11.4.1系统发展路径11.4.2人员成长11.4.3系统设计11.4.4系统实现11.4.5使用与运维11.4.6工程现象11.4.7经验法则第四篇专题篇第12章云存储12.1云存储的概念12.2云存储的产品形态12.3云存储技术12.4云存储的核心优势12.5云平台整体架构12.5.1Amazon云平台12.5.2Google云平台12.5.3Microsoft云平台12.5.4云平台架构12.6云存储技术体系12.7云存储安全第13章大数据13.1大数据的概念13.2MapRece13.3MapRece扩展13.3.1Google Tenzing13.3.2Microsoft Dryad13.3.3Google Pregel13.4流式计算13.4.1原理13.4.2Yahoo S413.4.3Twitter Storm13.5实时分析13.5.1MPP架构13.5.2EMC Greenplum13.5.3HP Vertica13.5.4Google Dremel参考资料