Ⅰ 【理论研究】漫谈云计算IT基础设施05-超融合技术
其实超融合这一块,放在云计算IT基础设施里面,不算是完全合适。你说它是分布式存储,但是它同时又是硬件服务器与存储;你说它算硬件,但是它又离不开分布式存储软件。
传统的IT基础设施架构,主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化,逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。
2019年11月的Gartner超融合产品魔力象限中,领导者象限有5家:Nutanix、DELL、VMware、CISCO、HPE。(其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN,而VMware提供的则是VSAN纯软件的解决方案)
Nutanix能够成为超融合领导者中的领导者,自然是经过市场的充分验证,得到市场的认可。而且由于其公开资料(Nutanix 圣经)比较齐备,因此我们可以通过Nutanix一窥超融合的究竟。
这边就不搬运了,可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”,可以找到相应的官方文档。
引用自NUTANIX圣经 -“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台,在2U空间中提供2或4个节点。
每个节点运行着hypervisor(支持ESXi, KVM, Hyper-V)和Nutanix控制器虚机(CVM)。Nutanix CVM中运行着Nutanix核心软件,服务于所有虚机和虚机对应的I/O操作。
得益于Intel VT-d(VM直接通路)技术,对于运行着VMware vSphere的Nutanix单元,SCSI控制(管理SSD和HDD设备)被直接传递到CVM。”
个人总结: 从以上官方文档可知,2U的空间可以安装2~4个Nutanix节点(每个节点相当于1台物理服务器),所以设备装机密度非常高。每个节点都安装着虚拟化软件,并且在虚拟化层之上再运行着一台Nutanix的控制虚机(CVM),该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘,替代磁盘阵列作为存储使用,单个节点有独立的CPU与内存,作为计算节点使用。
1、基础架构
以3个Nutanix节点为例,每个节点安装有Hypervisor,在Hypervisor之上运行着客户虚拟机,并且每个节点有一台Nutanix控制器虚机Controller VM,配置有2块SSD与4块HDD,通过SCSI Controller作读写。
2、数据保护
Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同,而是与一般的分布式存储一样,通过为数据建立副本,拷贝到其他Nutanix节点存放,来对数据进行保护,Nutanix将副本的数量称作RF(一般RF为2~3)。
当客户虚机写入数据“见图上1a)流程”,数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域(相当于Cache的作用),然后执行“1b)”流程,本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog,拷贝份数视RF而定。当其他节点CVM确定数据写入完成,会执行“1c”流程,给出应答写入完成。通过数据副本实现对数据的保护。
数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域,是按照一定的规则异步进行的,具体详见下面的部分。
3、存储分层
Nutanix数据写入以本地落盘为主要写入原则(核心原则)。
当客户虚机写入数据是,优先考虑写入本地SSD(如果SSD已用容量未达到阀值),如果本地SSD满了,会将本地SSD的最冷的数据,迁移到集群中其他节点的SSD,腾出本地SSD的空间,写入数据。本地落盘的原则,是为了尽量提高虚机访问存储数据的速度,使本地虚机不需要跨节点访问存储数据。(这点应该是与VSAN与其他分布式文件系统最大原理性区别)
当整个集群的SSD已用容量达到阀值(一般是75%),才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。
SSD迁移数据到HDD,并非将所有数据全部迁移到HDD,而是对数据进行访问度冷热的排序,并且将访问较少的冷数据优先迁移到HDD硬盘中。
如SSD容量达到95%的利用率,则迁移20%的冷数据到HDD;如SSD容量达到80%,则默认迁移15%的冷数据到HDD。
4、数据读取与迁移
Nutanix圣经引用-“ <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化(data locality),是Nutanix超融合平台强劲性能的关键所在。所有的读、写I/O请求都借由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点,而需要访问的存储数据在另外一个物理节点的情况,VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>
<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时(或者发生HA切换),此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据(存储在之前节点的CVM中)时,I/O请求将通过本地CVM转发至远端CVM。所有的写I/O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时,将在后台自动将数据移动到本地节点中,从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁,进而避免过大的网络压力。</u> ”
个人总结: 即一般虚机读写数据都是读本地节点的硬盘,如果本地节点硬盘没有该数据,会从其他节点先拷贝过来本地节点硬盘,再为本地虚机提供访问,而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。
5、Nutanix解决方案的优缺点
Nutanix方案优点:
1) 本地落盘策略,确保虚机访问存储速度:虚机写入的数据都在本物理节点的磁盘上,避免跨节点存储访问,确保访问速度,减轻网络压力。
2) 采用SSD磁盘作为数据缓存,大幅提升IO性能:
见上表数据,从随机的读写来看,SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略,虚机数据写入,仅有本地的2块SSD硬盘作为数据缓存负责写入数据。
但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍,IO性能大幅提升。(相当于要超过2000块SATA硬盘做Raid,才能提供近似的IO性能)。
3)永远优先写入SSD,确保高IO性能
数据写入HDD不参与,即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD,然后还是SSD进行读写,确保高IO。后续异步将SSD冷数据迁移到HDD。
4)数据冷热分层存储
冷数据存放在HDD,热数据保留在SSD,确保热点数据高IO读取。
5)设备密度高,节省机房机架空间
2U可以配置4个节点,包含了存储与计算,比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。
Nutanix方案缺点:
1)本地落盘及SSD缓存方案确保了高IO,但是硬盘的带宽得不到保证。
传统磁盘阵列,多块SATA/SAS硬盘加入Raid组,数据写入的时候,将文件拆分为多个block,分布到各个硬盘中,同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写,从而提升IO与带宽性能。
而Nutanix的解决方案中,单个文件的读写遵循本地落盘的策略,因此不再对文件拆分到多块硬盘进行并行读写,而只有本地节点的SSD硬盘会对该文件进行写入。
虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍,但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升,而传统Raid的方式,多块硬盘并行读写,虽然IO比不上SSD,但是带宽则比单块/两块SSD带宽高出很多。
因此Nutanix的解决方案适合用于高IO需求的业务类型,但是因为它的读写原理,则决定了它不合适低IO、高带宽的业务类型。
三)行业竞争对手对比:
VMWARE EVO RAIL软件包:VMware没有涉足硬件产品,但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售,并向客户提供所有硬件和软件支持。
而EVO:RAIL的核心,其实就是VSphere虚拟化软件+VSAN软件的打包。
但VSAN与Nutanix最大的一个区别,就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数,将本地虚机的数据读写设置为横跨多个节点的硬盘,默认条带系数为1,最大可设置为12个,即一个虚机的数据写入,可以同时采用12个节点的SSD硬盘并行读写。
通过这种方式,VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高,IO要求低的业务类型的缺点。
但是这种横跨物理节点的访问流量,在虚机数量众多的情况下,肯定会给网络带来压力,网络带宽可能会成为另一个瓶颈。
其次VSAN可以集成在Hypervisor层,而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。
再次,Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor,而VSAN仅支持自家的ESXI。
其他待补充:由于暂时未对VSAN进行实际部署测试,仅停留在对其原理的研究,因此,关于VSAN的部分待后续平台上线测试完成后继续补充。
Ⅱ 直通卡和阵列卡的区别
阵列卡就是英语中的raid卡,直通卡就是HBA卡,HBA卡有两种模式,IT模式和IR模式,IR模式的直通卡不是硬阵列卡!别拿IR模式的直通卡说是硬阵列卡!这是张冠李戴了。 HBA卡就是一个通道卡,它的作用是让计算机能够对磁盘进行存取操作,一般都是针对sas硬盘的,可以看成是sas控制器,类似南桥的SATA控制器。但是HBA卡的HBA芯片也是有CPU的,也分为IT模式和IR模式,IT模式下所连接的磁盘对系统是透明的,由系统直接识别和管理,而IR模式下磁盘由HBA控制器控制然后模拟磁盘给系统使用,虽然类似阵列卡(和南桥的raid模式是一个道理),但是不能说是硬阵列卡。IR模式下的HBA卡可以组建raid0,raid1甚至raid5,但是raid5的写入性能还不如单个硬盘,我一直觉得IR模式的HBA卡就是废物,基本找不到什么用途会特别需要这种卡。后来想想应该是厂商拿来骗钱的。 硬阵列卡其实可以看做一个微型计算机系统,阵列卡通过一个ROC(raid-on-chip)芯片来完成对存储设备的管理,并按需模拟磁盘给计算机使用,存储设备本身对操作系统不透明,由阵列卡管理。ROC芯片中有通用CPU,一般是mips,powerpc或者arm架构,用来通用计算,还有内存控制器为这个CPU提供内存,还有xor引擎,专门用来加速raid5,raid6等等。 简单的识别方式就是没有内存颗粒作为阵列卡缓存的就是HBA卡或者说直通卡,而有内存颗粒作为阵列卡缓存的就是硬阵列卡,做raid5或者raid6速度是有保障的。IR模式的直通卡,即使做raid5,也是聋子的耳朵-摆设,毫无实用价值。
Ⅲ IT到底指的是啥是java、python吗
答: It是Information technology的缩写,,主要意思就是信息技术,这些技术呢,主要用在计算机和通信行业,应该来说是一个统称,并不仅仅是说Java还是Python,因为在信息技术当中呢,有很多种计算机语言,比如还有C#, C++,go等,我们主要得知道是利用这个技术来解决相关的计算机问题。它主要涉及硬件软件等方面的应用,希望能够帮助到你。
Ⅳ 闲话IT运维-- IT外包模式和风险
在一个公司内,IT部门一般是为公司其他业务部门提供IT服务,通常是成本中心,非盈利中心。作为成本中心有两个方面需要重点考虑,一方面,需要考虑投入产出比;另一方面,IT部门一般技术力量也不强。从这两个方面考虑,IT部门有充分的理由考虑将部分或者全部的IT工作外包给更专业的公司去处理,让专业的人处理专业的事。
哪些可以外包
上面根据业务的核心程度和技术力量来进行区分哪些IT工作可以外包,对于部分外包的情况可以根据开发的主要流程进一步来确定:
上图中对于运营维护都建议IT部门直接处理,而不是外包,这不是说不能进行外包,而是强调IT部门对运维工作要有绝对的把控,因为这是IT服务好坏的一个底线,可以采用外包代维,但是关键部分,包括流程管控,安全管理等等必须抓紧抓牢。
外包模式
根据外包方多少来区分,外包又有单方外包和多方外包:
单方外包: 将IT业务整体打包外包给一家公司,包括开发、测试、运维整个流程,实行大包干。这种情况优点是可以全面利用承包方的资源,如果选择的是优秀的承包商可以短时间提升IT部门的服务水平。缺点是缺少竞争,长期看可能被承包商“绑架”,另外,让承包方大包干会导致管理、技术方面过多依赖承包方,IT部门内部人员能力下降。
多方外包: 将IT业务根据一定的业务逻辑进行分割,譬如区分CRM、计费、物流、客服等模块,不同模块外包给不同的承包方。这种情况优点是多家参与,服务能力有比较,并且有一定的竞争。缺点是有问题时会出现多家扯皮,另外各个系统之间很多接口需要多方确定,开发和维护需要协调的工作比较多。
一般不是非常重要的系统可以采用单方外包,重要的系统最好还是采用多方外包,不要将鸡蛋放到一个篮子里。
外包的风险和应对
1、信息安全风险高
IT系统处理公司业务信息,其中包括一些公司敏感信息,包括公司的生产经营数据、客户敏感信息、系统核心资源信息等等。这些信息内部人员掌握一般信息安全比较可控,毕竟是内部自己人,如果外包人员全面接触到,信息安全风险会非常高,譬如倒卖用户敏感信息。这种情况下管理上需要加强信息安全流程管控、技术上通过单点登录、4A安全审计等方式方法来提升信息安全水平。
2、人员能力下降
在外包情况下自有人员是甲方,外包人员是乙方,很多事情由乙方外包处理,并且外包具体职责有时也并不十分清晰,人都是有惰性的,长期可能导致甲方人员将本该自己处理的事情都委托乙方处理,就像家里请了个保姆,时间长了主人扫地、做饭都不会了。
3、服务质量下降
一般外包商刚合作时会很积极配合工作,服务质量很高,但是随着接触越来越多,内部人员对开发、运维等把控不够专业和深入,特别是外包合同对外包服务质量的规定如果不是很科学的情况下,外包的服务质量会下降。为应对这种情况需要在合同中明确外包合同的服务质量(SLA),并且明确奖惩方式,另外内部必须有一支对外包出去的业务(包括开发、运维等流程)非常熟悉的骨干队伍,防止被外包商”忽悠“。
外包是一把双刃剑,用的好提升自己功力,用的不好也可能会伤到自己,自己必须有相应的能力来驾驭这把剑!
Ⅳ IT里的存储体有什么
计算机中常用的存储设备有哪些?各有什么作用?各自的特点是什么?
计算机中的存储器,可分为内存和外存。内存,又称为主存储器,可分为随机存储器
RAM
和只读存储器
ROM
。随机存储器用于存放正在运行的程序和数据,它的特点是具有可
读写性和易丢失性,
即其中保存的信息,
一旦掉电就会全部丢失。
随机存储器又可分为静态
随机存储器
SRAM
和动态随机存储器
DRAM
,前者因为制作工艺复杂,价格高昂,只有少量
用于高速缓存
Cache
;后者则是在微机中被称为内存条的东东。只读存储器用于固化一些基
本程序,
如微机主板中的
BIOS
(基本输入
/
输出程序)
,
它的特点是只能读出信息,
不能写入
信息,即具有只读不写性。外存,又称为辅助存储器。目前微机中标配的硬盘、光盘,以及
常用的
U
盘等,都是常见的外存储器。外存因为存储容量大(内存的存储容量比较有限,
且相对外存小得多)
,而被广泛用于各种程序和数据的存放。但外存中的信息,必须先读入
内存后,才能被
CPU
调用或处理。硬盘和软盘都属于磁盘存储设备,是通过磁性分布来记
录信息的,硬盘的存储容量、存取速度均远大于软盘。
U
盘属于一种闪存设备,因为存储容
量大、存取速度快已取代了软盘而被广泛使用。