當前位置:首頁 » 數據倉庫 » 阿里雲有哪些資料庫產品
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

阿里雲有哪些資料庫產品

發布時間: 2023-06-13 23:14:18

❶ 2019數據架構選型必讀:1月資料庫產品技術解析

本期目錄

DB-Engines資料庫排行榜

新聞快訊

一、RDBMS家族

二、Nosql家族

三、NewSQL家族

四、時間序列

五、大數據生態圈

六、國產資料庫概覽

七、雲資料庫

八、推出dbaplus Newsletter的想法

九、感謝名單

為方便閱讀、重點呈現,本期Newsletter(2019年1月)將對各個板塊的內容進行精簡。需要閱讀全文的同學可點擊文末 【閱讀原文】 或登錄https://pan..com/s/13BgipbaHeMfvm0YPtiYviA

進行下載。

DB-Engines資料庫排行榜

以下取自2019年1月的數據,具體信息可以參考http://db-engines.com/en/ranking/,數據僅供參考。

DB-Engines排名的數據依據5個不同的因素:

新聞快訊

1、2018年9月24日,微軟公布了SQL Server2019預覽版,SQL Server 2019將結合Spark創建統一數據平台。

2、2018年10月5日,ElasticSearch在美國紐約證券交易所上市。

3、亞馬遜放棄甲骨文資料庫軟體,導致最大倉庫之一在黃金時段宕機。受此消息影響,亞馬遜盤前股價小幅跳水,跌超2%。

4、2018年10月31日,Percona發布了Percona Server 8.0 RC版本,發布對MongoDB 4.0的支持,發布對XtraBackup測試第二個版本。

5、2018年10月31日,Gartner陸續發布了2018年的資料庫系列報告,包括《資料庫魔力象限》、《資料庫核心能力》以及《資料庫推薦報告》。

今年的總上榜資料庫產品達到了5家,分別來自:阿里雲,華為,巨杉資料庫,騰訊雲,星環 科技 。其中阿里雲和巨杉資料庫已經連續兩年入選。

6、2018年11月初,Neo4j宣布完成E輪8000萬美元融資。11月15日,Neo4j宣布企業版徹底閉源:

7、2019年1月8日,阿里巴巴以1.033億美元(9000萬歐元)的價格收購了Apache Flink商業公司DataArtisans。

8、2019年1月11日早間消息,亞馬遜宣布推出雲資料庫軟體,亞馬遜和MongoDB將會直接競爭。

RDBMS家族

Oracle 發布18.3版本

2018年7月,Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為採用之前發布模式的Oracle Database 12c第2版的第一個補丁集。未來,客戶將不再需要等待多年才能用上最新版Oracle資料庫,而是每年都可以期待新資料庫特性和增強。Database 19c將於2019年Q1率先在Oracle cloud上發布雲版本。

Oracle Database 18c及19c部分關鍵功能:

1、性能

2、多租戶,大量功能增強及改進,大幅節省成本和提高敏捷性

3、高可用

4、數據倉庫和大數據

MySQL發布8.0.13版本

1、賬戶管理

經過配置,修改密碼時,必須帶上原密碼。在之前的版本,用戶登錄之後,就可以修改自己的密碼。這種方式存在一定安全風險。比如用戶登錄上資料庫後,中途離開一段時間,那麼非法用戶可能會修改密碼。由參數password_require_current控制。

2、配置

Innodb表必須有主鍵。在用戶沒有指定主鍵時,系統會生成一個默認的主鍵。但是在主從復制的場景下,默認的主鍵,會對叢庫應用速度帶來致命的影響。如果設置sql_require_primary_key,那麼資料庫會強制用戶在創建表、修改表時,加上主鍵。

3、欄位默認值

BLOB、TEXT、GEOMETRY和JSON欄位可以指定默認值了。

4、優化器

1)Skip Scan

非前綴索引也可以用了。

之前的版本,任何沒有帶上f1欄位的查詢,都沒法使用索引。在新的版本中,它可以忽略前面的欄位,讓這個查詢使用到索引。其實現原理就是把(f1 = 1 AND f2 > 40) 和(f1 = 2 AND f2 > 40)的查詢結果合並。

2)函數索引

之前版本只能基於某個列或者多個列加索引,但是不允許在上面做計算,如今這個限制消除了。

5、SQL語法

GROUP BY ASC和GROUP BY DESC語法已經被廢棄,要想達到類似的效果,請使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能變化

1)設置用戶變數,請使用SET語句

如下類型語句將要被廢棄SELECT @var, @var:=@var+1。

2)新增innodb_fsync_threshold

該變數是控制文件刷新到磁碟的速率,防止磁碟在短時間內飽和。

3)新增會話級臨時表空間

在以往的版本中,當執行SQL時,產生的臨時表都在全局表空間ibtmp1中,及時執行結束,臨時表被釋放,空間不會被回收。新版本中,會為session從臨時表空間池中分配一個臨時表空間,當連接斷開時,臨時表空間的磁碟空間被回收。

4)在線切換Group Replication的狀態

5)新增了group_replication_member_expel_timeout

之前,如果某個節點被懷疑有問題,在5秒檢測期結束之後,那麼就直接被驅逐出這個集群。即使該節點恢復正常時,也不會再被加入集群。那麼,瞬時的故障,會把某些節點驅逐出集群。

group_replication_member_expel_timeout讓管理員能更好的依據自身的場景,做出最合適的配置(建議配置時間小於一個小時)。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1)update連表更新,limit語句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

2)update連表更新,ORDER BY and LIMIT語句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

參考:

https://jira.mariadb.org/browse/MDEV-13911

2、MariaDB10.3增補AliSQL補丁——安全執行Online DDL

Online DDL從名字上看很容易誤導新手,以為不論什麼情況,修改表結構都不會鎖表,理想很豐滿,現實很骨感,注意這個坑!

有以下兩種情況執行DDL操作會鎖表的,Waiting for table metadata lock(元數據表鎖):

針對第二種情況,MariaDB10.3增補AliSQL補丁-DDL FAST FAIL,讓其DDL操作快速失敗。

例:

如果線上有某個慢SQL對該表進行操作,可以使用WAIT n(以秒為單位設置等待)或NOWAIT在語句中顯式設置鎖等待超時,在這種情況下,如果無法獲取鎖,語句將立即失敗。 WAIT 0相當於NOWAIT。

參考:

https://jira.mariadb.org/browse/MDEV-11388

3、MariaDB Window Functions窗口函數分組取TOP N記錄

窗口函數在MariaDB10.2版本里實現,其簡化了復雜SQL的撰寫,提高了可讀性。

參考:

https://mariadb.com/kb/en/library/window-functions-overview/

Percona Server發布8.0 GA版本

2018年12月21日,Percona發布了Percona Server 8.0 GA版本。

在支持MySQL8.0社區的基礎版上,Percona Server for MySQL 8.0版本中帶來了許多新功能:

1、安全性和合規性

2、性能和可擴展性

3、可觀察性和可用性

Percona Server for MySQL 8.0中將要被廢用功能:

Percona Server for MySQL 8.0中刪除的功能:

RocksDB發布V5.17.2版本

2018年10月24日,RocksDB發布V5.17.2版本。

RocksDB是Facebook在LevelDB基礎上用C++寫的高效內嵌式K/V存儲引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底層的存儲都是基於RocksDB來構建。

PostgreSQL發布11版本

2018年10月18日,PostgreSQL 11發布。

1、PostgreSQL 11的重大增強

2、PostgreSQL 插件動態

1)分布式插件citus發布 8.1

citus是PostgreSQL的一款sharding插件,目前國內蘇寧、鐵總、探探有較大量使用案例。

https://github.com/citusdata/citus

2)地理信息插件postgis發布2.5.1

PostGIS是專業的時空資料庫插件,在測繪、航天、氣象、地震、國土資源、地圖等時空專業領域應用廣泛。同時在互聯網行業也得到了對GIS有性能、功能深度要求的客戶青睞,比如共享出行、外賣等客戶。

http://postgis.net/

3)時序插件timescale發布1.1.1

timescale是PostgreSQL的一款時序資料庫插件,在IoT行業中有非常好的應用。github star數目前有5000多,是一個非常火爆的插件。

https://github.com/timescale/timescaledb

4)流計算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流計算插件,使用這個創建可以對高速寫入的數據進行實時根據定義的聚合規則進行聚合(支持概率計算),實時根據定義的規則觸發事件(支持事件處理函數的自定義)。可用於IoT,監控,FEED實時計算等場景。

https://github.com/pipelinedb/pipelinedb

3、PostgreSQL衍生開源產品動態

1)agensgraph發布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的專業圖資料庫,適合圖式關系的管理。

https://github.com/bitnine-oss/agensgraph

2)gpdb發布5.15

gpdb是兼容PostgreSQL的mpp資料庫,適合OLAP場景。近兩年,gpdb一直在追趕PostgreSQL的社區版本,預計很快會追上10的PostgreSQL,在TP方面的性能也會得到顯著提升。

https://github.com/greenplum-db/gpdb

3)antdb發布3.2

antdb是以Postgres-XC為基礎開發的一款PostgreSQL sharding資料庫,亞信主導開發,開源,目前主要服務於亞信自有客戶。

https://github.com/ADBSQL/AntDB

4)遷移工具MTK發布52版本

MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase資料庫遷移到PostgreSQL, PPAS的產品,遷移速度可以達到100萬行/s以上。

https://github.com/digoal/blog/blob/master/201812/20181226_01.md

DB2發布 11.1.4.4版本

DB2最新發布Mod Pack 4 and Fix Pack 4,包含以下幾方面的改動及增強:

1、性能

2、高可用

3、管理視圖

4、應用開發方面

5、聯邦功能

6、pureScale

NoSQL家族

Redis發布5.0.3版本

MongoDB升級更新MongoDB Mobile和MongoDB Stitch

2018年11月21日,MongoDB升級更新MongoDB Mobile和MongoDB Stitch,助力開發人員提升工作效率。

MongoDB 公司日前發布了多項新產品功能,旨在更好地幫助開發人員在世界各地管理數據。通過利用存儲在移動設備和後台資料庫的數據之間的實時、自動的同步特性,MongoDB Mobile通用版本助力開發人員構建更快捷、反應更迅速的應用程序。此前,這只能通過在移動應用內部安裝一個可供選擇或限定功能的資料庫來實現。

MongoDB Mobile在為客戶提供隨處運行的自由度方面更進了一步。用戶在iOS和安卓終端設備上可擁有MongoDB所有功能,將網路邊界擴展到其物聯網資產范疇。應用系統還可以使用MongoDB Stitch的軟體開發包訪問移動客戶端或後台數據,幫助開發人員通過他們希望的任意方式查詢移動終端數據和物聯網數據,包括本地讀寫、本地JSON存儲、索引和聚合。通過Stitch移動同步功能(現可提供beta版),用戶可以自動對保存在本地的數據以及後台資料庫的數據進行同步。

本期新秀:Cassandra發布3.11.3版本

2018年8月11日,Cassandra發布正式版3.11.3。

Apache Cassandra是一款開源分布式NoSQL資料庫系統,使用了基於Google BigTable的數據模型,與面向行(row)的傳統關系型資料庫或鍵值存儲key-value資料庫不同,Cassandra使用的是寬列存儲模型(Wide Column Stores)。與BigTable和其模仿者HBase不同,數據並不存儲在分布式文件系統如GFS或HDFS中,而是直接存於本地。

Cassandra的系統架構與Amazon DynamoDB類似,是基於一致性哈希的完全P2P架構,每行數據通過哈希來決定應該存在哪個或哪些節點中。集群沒有master的概念,所有節點都是同樣的角色,徹底避免了整個系統的單點問題導致的不穩定性,集群間的狀態同步通過Gossip協議來進行P2P的通信。

3.11.3版本的一些bug fix和改進:

NewSQL家族

TiDB 發布2.1.2版本

2018 年 12 月 22 日,TiDB 發布 2.1.2 版,TiDB-Ansible 相應發布 2.1.2 版本。該版本在 2.1.1 版的基礎上,對系統兼容性、穩定性做出了改進。

TiDB 是一款定位於在線事務處理/在線分析處理( HTAP: Hybrid Transactional/Analytical Processing)的融合型資料庫產品。除了底層的 RocksDB 存儲引擎之外,分布式SQL層、分布式KV存儲引擎(TiKV)完全自主設計和研發。

TiDB 完全開源,兼容MySQL協議和語法,可以簡單理解為一個可以無限水平擴展的MySQL,並且提供分布式事務、跨節點 JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優異的特性;對業務沒有任何侵入性,簡化開發,利於維護和平滑遷移。

TiDB:

PD:

TiKV:

Tools:

1)TiDB-Lightning

2)TiDB-Binlog

EsgynDB發布R2.5版本

2018年12月22日,EsgynDB R2.5版本正式發布。

作為企業級產品,EsgynDB 2.5向前邁進了一大步,它擁有以下功能和改進:

CockroachDB發布2.1版本

2018年10月30日,CockroachDB正式發布2.1版本,其新增特性如下:

新增企業級特性:

新增SQL特性:

新增內核特性:

Admin UI增強:

時間序列

本期新秀:TimescaleDB發布1.0版本

10月底,TimescaleDB 1.0宣布正式推出,官方表示該版本已可用於生產環境,支持完整SQL和擴展。

TimescaleDB是基於PostgreSQL資料庫開發的一款時序資料庫,以插件化的形式打包提供,隨著PostgreSQL的版本升級而升級,不會因為另立分支帶來麻煩。

TimescaleDB架構:

數據自動按時間和空間分片(chunk)

更新亮點:

https://github.com/timescale/timescaledb/releases/tag/1.0.0

大數據生態圈

Hadoop發布2.9.2版本

2018年11月中旬,Hadoop在2.9分支上發布了新的2.9.2版本,該版本進行了204個大大小小的變更,主要變更如下:

Greenplum 發布5.15版本

Greenplum最新的5.15版本中發布了流式數據載入工具。

該版本中的Greenplum Streem Server組件已經集成了Kafka流式載入功能,並通過了Confluent官方的集成認證,其支持的主要功能如下:

國產資料庫概覽

K-DB發布資料庫一體機版

2018年11月7日,K-DB發布了資料庫一體機版。該版本更新情況如下:

OceanBase遷移服務發布1.0版本

1月4日,OceanBase 正式發布OMS遷移服務1.0版本。

以下內容包含 OceanBase 遷移服務的重要特性和功能:

SequoiaDB發布3.0.1新版本

1、架構

1)完整計算存儲分離架構,兼容MySQL協議、語法

計算存儲分離體系以松耦合的方式將計算與存儲層分別部署,通過標准介面或插件對各個模塊和組件進行無縫替換,在計算層與存儲層均可實現自由的彈性伸縮。

SequoiaDB巨杉資料庫「計算-存儲分離」架構詳細示意

用戶可以根據自身業務特徵選擇面向交易的SQL解析器(例如MySQL或PGSQL)或面向統計分析的執行引擎(例如SparkSQL)。眾所周知,使用不同的SQL優化與執行方式,資料庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數據存儲層面進行一體化存儲,在計算層面則利用每種執行引擎的特點針對不同業務場景進行選擇和優化,用戶可以在存儲層進行邏輯與物理的隔離,將面向高頻交易的前端業務與面向高吞吐量的統計分析使用不同的硬體進行存儲,確保在多類型數據訪問時互不幹擾,以真正達到生產環境可用的多租戶與HTAP能力。

2、其他更新信息

1)介面變更:

2)主要特性:

雲資料庫

本期新秀:騰訊發布資料庫CynosDB,開啟公測

1、News

1)騰訊雲資料庫MySQL2018年重大更新:

2)騰訊雲資料庫MongoDB2018年重大更新:

3)騰訊雲資料庫Redis/CKV+2018年重大更新:

4)騰訊雲資料庫CTSDB2018年重大更新:

2、Redis 4.0集群版商業化上線

2018年10月,騰訊雲資料庫Redis 4.0集群版完成邀測、公測、商業化三個迭代,在廣州、上海、北京正式全量商業化上線。

產品特性:

使用場景:

官網文檔:

https://cloud.tencent.com/document/proct/239/18336

3、騰訊自研資料庫CynosDB發布,開啟公測

2018年11月22日,騰訊雲召開新一代自研資料庫CynosDB發布會,業界第一款全面兼容市面上兩大最主流的開源資料庫MySQL和PostgreSQL的高性能企業級分布式雲資料庫。

本期新秀:京東雲DRDS發布1.0版本

12月24日,京東雲分布式關系型資料庫DRDS正式發布1.0版本。

DRDS是京東雲精心自研的資料庫中間件產品,獲得了2018年 」可信雲技術創新獎」。DRDS可實現海量數據下的自動分庫分表,具有高性能,分布式,彈性升級,兼容MySQL等優點,適用於高並發、大規模數據的在線交易, 歷史 數據查詢,自動數據分片等業務場景,歷經多次618,雙十一的考驗,已經在京東集團內大規模使用。

京東雲DRDS產品有以下主要特性

1)自動分庫分表

通過簡單的定義即可自動實現分庫分表,將數據實際存放在多個MySQL實例的資料庫中,但呈現給應用程序的依舊是一張表,對業務透明,應用程序幾乎無需改動,實現了對資料庫存儲和處理能力的水平擴展。

2)分布式架構

基於分布式架構的集群方案,多個對等節點同時對外提供服務,不但可有效規避服務的單點故障,而且更加容易擴展。

3)超強性能

具有極高的處理能力,雙節點即可支持數萬QPS,滿足用戶超大規模處理能力的需求。

4)兼容MySQL

兼容絕大部分MySQL語法,包括MySQL語法、數據類型、索引、常用函數、排序、關聯等DDL,DML語句,使用成本低。

參考鏈接:

https://www.jdcloud.com/cn/procts/drds

RadonDB發布1.0.3版本

2018年12月26日,MyNewSQL領域的RadonDB雲資料庫發布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向廣大技術愛好者提供資料庫行業的最新技術發展趨勢,為社區的技術發展提供一個統一的發聲平台。為此,我們策劃了RDBMS、NoSQL、NewSQL、時間序列、大數據生態圈、國產資料庫、雲資料庫等幾個版塊。

我們不以商業宣傳為目的,不接受任何商業廣告宣傳,嚴格審查信息源的可信度和准確性,力爭為大家提供一個純凈的技術學習環境,歡迎大家監督指正。

至於Newsletter發布的周期,目前計劃是每三個月左右會做一次跟進, 下期計劃時間是2019年4月14日~4月25日, 如果有相關的信息提供請發送至郵箱:[email protected]

感謝名單

最後要感謝那些提供寶貴信息和建議的專家朋友,排名不分先後。

往期回顧:

↓↓別忘了點這里下載 2019年1月 完整版Newsletter 哦~

❷ 對話阿里雲李飛飛:關於雲原生資料庫的五大預判

作者:王慧賢

數據存儲、數據分析、數據安全......如今,圍繞「數據」的話題越來越多,離人們的生活也越來越近。

從陌生到熟悉,數據不僅「出圈」,甚至已然站在了C位。去年,中央發布的《關於構建更加完善的要素市場化配置體制機制的意見》中明確表示,繼土地、勞動力、資本、技術後,數據成為第五大生產要素。

步入信息化時代後,資料庫、操作系統與中間件作為計算機最基礎的三大軟體,支撐著企業的正常運行。

當數據成為生產要素後,必然會迎來爆發式增長,企業的數據存儲和處理需求將進一步釋放。更重要的是,疫情加快了數字化轉型的腳步,更加速了企業的上雲速度。

從信息化到數字化,時代的變革,總會帶來商業世界的變化。如何在雲原生架構下使用資料庫,成為企業的痛點和雲廠商的機會,亞馬遜AWS的CTO Werner Vogels曾多次強調:「資料庫是雲計算的終極之戰。」

在數智化時代,雲原生到底意味著什麼?雲原生資料庫和傳統資料庫相比,核心優勢是什麼?是否把資料庫搬上雲就是雲原生?基於這些問題,雷鋒網與阿里巴巴集團副總裁、阿里雲資料庫產品事業部負責人李飛飛展開一場對話。

國產雲原生資料庫,擺脫「切膚之痛」

如今,資料庫的商業世界,因為雲的出現與發展,分成了兩大派系。

一派是以Oracle為代表的傳統商用資料庫,一派是以國外AWS、國內阿里雲為代表的雲原生資料庫,去「IOE革命」下的產物。

其實,早期較為火熱的資料庫種類有三種,層次式資料庫、網路式資料庫和關系型資料庫。

在《浪潮之巔》一書中,作者吳軍寫下了這樣的觀點:「Oracle 的興起很大程度上靠的是它最早看到關系型資料庫的市場前景,並且在商業模式上優於 IBM。」

因此,在雲原生資料庫「入世」之前,資料庫的天下一直是Oracle的,國內大部分互聯網公司都不得不採用Oracle+IBM小型機+EMC的模式來維持正常運營。

高昂的費用,使得對於資料庫需求較大的互聯網巨頭「忍無可忍」。

2009年,阿里巴巴的Oracle RAC 集群節點數達到了創記錄的20個。可由於Oracle並沒有彈性擴展的功能,只能按照峰值流量購買小型機和資料庫,導致阿里將業務上漲帶來的大部分利潤,都支付給了Oracle。

第二年,阿里便開始走上了去「IOE」之路,根據開源MySQL搭建了AliSQL,並順利經過了淘寶雙11的考驗,國產雲原生資料庫算是正式擺脫了「切膚之痛」,逐漸受到市場的真正認可。

另一邊,國外的AWS在2015年公布了基於雲計算的自研資料庫Amazon Aurora。Aurora是一個關系型資料庫,可以跨3個可用區域復制6份數據,其最大的特性就是高性能和高可用性。

雲計算巨頭的入局,讓雲原生資料庫在國內外一步步成為主流。據Gartner預測,到了2021年,雲資料庫在整個資料庫市場中的佔比將首次達到50%,到2023年,75%的資料庫都要跑在雲平台之上。

關於雲原生資料庫,隨著逐步的出圈,也讓人們關心的焦點從「是啥?」轉變為「還能解決哪些問題?」

但雲原生資料庫存在著數據孤島的問題,無法打通多個數據系統的情況下,企業在數據加工和數據管理上就會「壓力較大」,甚至在數據安全方面還存在隱患。

傳統數據倉庫一般基於T+1數據集成構建離線數倉,以支撐企業各項分析與服務。傳統方案不但會影響線上業務穩定性,且難以支持企業的實時需求。

因此,在李飛飛看來,雲原生資料庫已經走到2.0階段。這個階段要解決的問題,就是上述存在的痛點。

9月26日,在阿里雲資料庫創新上雲峰會上,阿里雲發布了首個一站式敏捷數據倉庫解決方案。該方案結合一站式數據管理平台DMS及雲原生數據倉庫AnalyticDB(簡稱:ADB),實現了庫倉一體的技術架構,提供在線數據實時入倉、T+1周期性快照、按需建倉等能力,數據延時低至秒級,持續賦能業務在線化,使企業的在線數據可以釋放出更大的價值。

相較於傳統方案,阿里雲一站式敏捷數據倉庫解決方案有4大核心優勢:

1、對業務側影響小,不會因為數據匯聚集中和實時加工影響業務側正常運行,CPU、內存佔用低於5%;

2、事務順序和數據准確性有保障,且處理鏈路短,支持在線數據實時處理落倉,效率更高。數據傳輸效率100m/s,數據延時在10秒內;

3、支持復雜實時數據加工、計算邏輯;

4、低代碼操作,能夠大大降低實時數倉的構建難度,提升構建效率的同時,支撐企業數字化轉型過程中的各類實時場景。

除了實時統計分析場景外,企業為滿足周期性數據分析需求,需建設周期性全量快照。

傳統數倉的周期性全量集成方案會對生產業務造成穩定性影響、全量集成時效性差、且無法滿足客戶針對任意時間點進行數據回溯的業務訴求。

針對T+1周期性集成場景,一站式敏捷數據倉庫解決方案支持基於拉鏈表的T+1全量數據快照,用戶通過簡單幾個步驟,即可按需生成各種周期的全量或增量快照。

此外,業務還可按需進行任意時間點的數據回溯,以快速解決數據異常問題。

談起未來資料庫的發展趨勢,李飛飛提到以下五點:

1、雲原生+分布式一定是資料庫的標配,分布式已經是必選項。分布式資料庫由多個相互連接的資料庫組合而成,面向用戶則是以單個資料庫的形態出現。雲原生分布式資料庫具備易用性、高擴展性、快速迭代、節約成本等特徵,從資源池化到彈性擴展,再到智能運維,再到離在線一體化,解決企業用戶的核心訴求。

2、AI for DB(database,指資料庫)和 DB for AI 將是主流趨勢。用AI將資料庫運維管控智能化,尤其在雲原生+分布式這個前提下更重要,因為資料庫不僅是內核的能力彈性高可用、可拓展性,更重要的是部署後應用和運維的復雜度要大大降低。在資料庫里,面對越來越多非結構化的數據,分析能力十分重要。

3、數據的安全可信,在今天這個大環境下變得愈發重要,如何確保整個資料庫系統,在處理數據全鏈路過程中提供加密能力、多方安全計算能力、隱私保護的能力,也是很重要的趨勢。

4、多模數據處理能力將越來越重要。比如,新型資料庫多模態的處理能力,在新能源 汽車 企業打標簽、智能電池化預測等應用場景中,將發揮越來越重要的作用。

5、一份數據,多個數據處理引擎:實現倉庫一體、倉庫聯動、倉庫打通,數據之間無縫流轉。

以上判斷,也從側面反映出阿里雲資料庫的走向,這點毋庸置疑。但除此之外,業界最關心的,還有開源。

近半年,國內很多廠商相繼提出開源戰略,背後緣由顯而易見,為了打造生態。就在今年的阿里雲峰會上,阿里雲智能總裁、達摩院院長張建鋒(花名行癲)將2021年阿里雲的發展關鍵詞歸納為:做好服務、做深基礎、做厚中台、做強生態。

做好服務與生態,成為如今廠商們不約而同的目標,而開源,就是最好的選擇。

當雷鋒網問到:「未來,阿里雲資料庫會不會把所有能力都開源?」這一問題時,李飛飛給到的回答是:「不會。」

之所以有這樣的回答,是因為對於開源,他有著一些判斷和看法。

李飛飛表示,這些部分,本就是阿里雲資料庫的商業化版本。

事實上,業界大多數的資料庫廠商都不會針對自身的核心能力開源,如TiDB的核心管控組件、TiFlash。

與像MongoDB,、Cassandra、CouchDB這些以開源起家的資料庫廠商不同,開源只是阿里雲資料庫的戰略,不是阿里雲資料庫的命脈。

前幾年,有業內人士表示,在面向開源時,國產資料庫首先需要解決信任以及開源知識產權等問題。「開源會讓廠商更加認真思考版權還有專利的問題,事實上,選擇開源後,對於資料庫廠商提出了更高的要求。」

李飛飛認為,開源只是一種選擇,資料庫開源成功並不代表著商業化就能夠成功,不開源也不能代表廠商不先進。

更准確的說,開源只是一種有效手段。

最終,阿里雲資料庫希望客戶能夠通過開源版本把阿里雲資料庫產品技術快速用起來,並能夠參與到技術產品的迭代過程中,在一些高階能力上,借鑒團隊專業能力和阿里雲的服務能力,成為良好的商業合作夥伴,這是李飛飛以及阿里雲資料庫對於開源的一些基本思考。雷鋒網雷鋒網雷鋒網

❸ 我想問一下阿里雲到底是什麼,它有什麼功能

阿里雲創立於2009年,是全球領先的雲計算及人工智慧科技公司,為200多個國家和地區的企業、開發者和政府機構提供服務。截至2016年第三季度,阿里雲客戶超過230萬,付費用戶達76.5萬。阿里雲致力於以在線公共服務的方式,提供安全、可靠的計算和數據處理能力,讓計算和人工智慧成為普惠科技。

阿里雲在全球各地部署高效節能的綠色數據中心,利用清潔計算為萬物互聯的新世界提供源源不斷的能源動力,目前開服的區域包括中國(華北、華東、華南、香港)、新加坡、美國(美東、美西)、歐洲、中東、澳大利亞、日本。

目前阿里雲的產品涵蓋彈性計算、資料庫、存儲與CDN、分析與搜索、雲通信、網路、管理與監控、應用服務、互聯網中間件、移動服務、視頻服務等。

(3)阿里雲有哪些資料庫產品擴展閱讀:

雲計算價值

阿里巴巴集團首席戰略官曾鳴,曾系統性地概括了雲計算對於企業的價值。

1、移動+雲計算=實現了IT服務的「在線化「,讓技術的門檻大幅降低。

2、雲計算是公共服務,是可變成本,可按需使用,不再是固定資產投入,創業公司的成本壓力由此大幅下降。

3、雲計算將數據變成生產資料和企業資產。

雲計算,是用足夠的低成本、商業化的模式來解決大計算的問題。以前大家只會想到超級計算機,它的運營成本高,而反應速度還是很慢,當這些大的互聯網應用真正發展時,比如淘寶,數億商家提出的購買需要,實時信息匹配的背後,就是大數據的計算。所以,雲計算就是使用分布式的方法,針對海量數據大計算的一種解決方案。如果沒有計算能力,我們談不上大數據的時代,談不上海量數據的高效應用 。

馬雲在2016杭州雲棲大會上提出了五新:「新零售,新製造,新金融,新技術,新能源」,阿里雲正在成為這「五新」的經濟基礎設施,其自主研發的超大規模通用計算操作系統飛天,可以將遍布全球的百萬級伺服器連成一台超級計算機,以在線公共服務的方式為社會提供計算能力 。

阿里雲總裁胡曉明表示:接下來的3~5年,雲計算、大數據不僅將在互聯網內發生改變,同樣會在工業製造、農業作業、城市交通,以及基因學、醫療影像、教育娛樂等領域產生賦能。「雲計算、大數據會對各行各業的基礎生態產生改變,阿里巴巴希望把已有的能力進行輸出,給予更多的創新者、創業者以及政府機構和國內外的合作者們。」

❹ 什麼是雲資料庫MySQL

RDS是阿里雲提供的即開即用的關系型資料庫服務,兼容了MySQL和SQL Server兩種資料庫引擎。
在傳統資料庫的基礎上,阿里雲RDS提供了強大豐富的功能從而保證了高可用性、高安全性以及高性能。此外,RDS還提供了諸多便利功能提升了RDS的易用性。

❺ 阿里雲的主要產品

阿里雲的產品致力於提升運維效率,降低IT成本,令使用者更專注於核心業務發展。
雲伺服器ECS
一種簡單高效,處理能力可彈性伸縮的計算服務。助您快速構建更穩定、安全的應用。提升運維效率,降低IT成本,使您更專注於核心業務創新。

雲引擎ACE
一種彈性、分布式的應用託管環境,支持Java、PHP、Python、Node.js等多種語言環境。幫助開發者快速開發和部署服務端應用程序,並簡化系統維護工作。搭載了豐富的分布式擴展服務,為應用程序提供強大助力。
彈性伸縮
根據用戶的業務需求和策略,自動調整其彈性計算資源的管理服務。其能夠在業務增長時自動增加ECS實例,並在業務下降時自動減少ECS實例。
一種即開即用、穩定可靠、可彈性伸縮的在線資料庫服務。基於飛天分布式系統和高性能存儲,RDS支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎,並且提供了容災、備份、恢復、監控、遷移等方面的全套解決方案。
開放結構化數據服務OTS
構建在阿里雲飛天分布式系統之上的 NoSQL資料庫服務,提供海量結構化數據的存儲和實時訪問。OTS 以實例和表的形式組織數據,通過數據分片和負載均衡技術,實現規模上的無縫擴展。應用通過調用 OTS API / SDK 或者操作管理控制台來使用 OTS 服務。
開放緩存服務OCS
在線緩存服務,為熱點數據的訪問提供高速響應。
鍵值存儲KVStore for Redis
兼容開源Redis協議的Key-Value類型在線存儲服務。KVStore支持字元串、鏈表、集合、有序集合、哈希表等多種數據類型,及事務(Transactions)、消息訂閱與發布(Pub/Sub)等高級功能。通過內存+硬碟的存儲方式,KVStore在提供高速數據讀寫能力的同時滿足數據持久化需求。
數據傳輸
支持以資料庫為核心的結構化存儲產品之間的數據傳輸。 它是一種集數據遷移、數據訂閱及數據實時同步於一體的數據傳輸服務。 數據傳輸的底層數據流基礎設施為阿里雙11異地雙活基礎架構, 為數千下游應用提供實時數據流,已在線上穩定運行3年之久。
對象存儲OSS
阿里雲對外提供的海量、安全和高可靠的雲存儲服務。RESTFul API的平台無關性,容量和處理能力的彈性擴展,按實際容量付費真正使您專注於核心業務。
歸檔存儲
作為阿里雲數據存儲產品體系的重要組成部分,致力於提供低成本、高可靠的數據歸檔服務,適合於海量數據的長期歸檔、備份。
消息服務
一種高效、可靠、安全、便捷、可彈性擴展的分布式消息與通知服務。消息服務能夠幫助應用開發者在他們應用的分布式組件上自由的傳遞數據,構建松耦合系統。
CDN
內容分發網路將源站內容分發至全國所有的節點,縮短用戶查看對象的延遲,提高用戶訪問網站的響應速度與網站的可用性,解決網路帶寬小、用戶訪問量大、網點分布不均等問題。 負載均衡
對多台雲伺服器進行流量分發的負載均衡服務。負載均衡可以通過流量分發擴展應用系統對外的服務能力,通過消除單點故障提升應用系統的可用性。
專有網路VPC
幫助基於阿里雲構建出一個隔離的網路環境。可以完全掌控自己的虛擬網路,包括選擇自有 IP 地址范圍、劃分網段、配置路由表和網關等。也可以通過專線/VPN等連接方式將VPC與傳統數據中心組成一個按需定製的網路環境,實現應用的平滑遷移上雲。

開放數據處理服務ODPS
由阿里雲自主研發,提供針對TB/PB級數據、實時性要求不高的分布式處理能力,應用於數據分析、挖掘、商業智能等領域。阿里巴巴的離線數據業務都運行在ODPS上。
采雲間DPC
基於開放數據處理服務(ODPS)的DW/BI的工具解決方案。DPC提供全鏈路的易於上手的數據處理工具,包括ODPS IDE、任務調度、數據分析、報表製作和元數據管理等,可以大大降低用戶在數據倉庫和商業智能上的實施成本,加快實施進度。天弘基金、高德地圖的數據團隊基於DPC完成他們的大數據處理需求。
批量計算
一種適用於大規模並行批處理作業的分布式雲服務。批量計算可支持海量作業並發規模,系統自動完成資源管理,作業調度和數據載入,並按實際使用量計費。批量計算廣泛應用於電影動畫渲染,生物數據分析,多媒體轉碼,金融保險分析等領域。
數據集成
阿里集團對外提供的穩定高效、彈性伸縮的數據同步平台,為阿里雲大數據計算引擎(包括ODPS、分析型資料庫、OSPS)提供離線(批量)、實時(流式)的數據進出通道。
DDoS防護服務
針對阿里雲伺服器在遭受大流量的DDoS攻擊後導致服務不可用的情況下,推出的付費增值服務,用戶可以通過配置高防IP,將攻擊流量引流到高防IP,確保源站的穩定可靠。免費為阿里雲上客戶提供最高5G的DDoS防護能力。
安騎士
阿里雲推出的一款免費雲伺服器安全管理軟體,主要提供木馬文件查殺、防密碼暴力破解、高危漏洞修復等安全防護功能。
阿里綠網
基於深度學習技術及阿里巴巴多年的海量數據支撐, 提供多樣化的內容識別服務,能有效幫助用戶降低違規風險。
安全網路
一款集安全、加速和個性化負載均衡為一體的網路接入產品。用戶通過接入安全網路,可以緩解業務被各種網路攻擊造成的影響,提供就近訪問的動態加速功能。
DDoS高防IP
針對互聯網伺服器(包括非阿里雲主機)在遭受大流量的DDoS攻擊後導致服務不可用的情況下,推出的付費增值服務,用戶可以通過配置高防IP,將攻擊流量引流到高防IP,確保源站的穩定可靠。
網路安全專家服務
在雲盾DDoS高防IP服務的基礎上,推出的安全代維託管服務。該服務由阿里雲雲盾的DDoS專家團隊,為企業客戶提供私家定製的DDoS防護策略優化、重大活動保障、人工值守等服務,讓企業客戶在日益嚴重的DDoS攻擊下高枕無憂。
伺服器安全託管
為雲伺服器提供定製化的安全防護策略、木馬文件檢測和高危漏洞檢測與修復工作。當發生安全事件時,阿里雲安全團隊提供安全事件分析、響應,並進行系統防護策略的優化。
滲透測試服務
針對用戶的網站或業務系統,通過模擬黑客攻擊的方式,進行專業性的入侵嘗試,評估出重大安全漏洞或隱患的增值服務。
態勢感知
專為企業安全運維團隊打造,結合雲主機和全網的威脅情報,利用機器學習,進行安全大數據分析的威脅檢測平台。可讓客戶全面、快速、准確地感知過去、現在、未來的安全威脅。
雲監控
一個開放性的監控平台,可實時監控您的站點和伺服器,並提供多種告警方式(簡訊,旺旺,郵件)以保證及時預警,為您的站點和伺服器的正常運行保駕護航。
訪問控制
一個穩定可靠的集中式訪問控制服務。您可以通過訪問控制將阿里雲資源的訪問及管理許可權分配給您的企業成員或合作夥伴。 日誌服務
針對日誌收集、存儲、查詢和分析的服務。日誌服務可收集雲服務和應用程序生成的日誌數據並編制索引,提供實時查詢海量日誌的能力。
開放搜索
解決用戶結構化數據搜索需求的託管服務,支持數據結構、搜索排序、數據處理自由定製。 開放搜索為您的網站或應用程序提供簡單、低成本、穩定、高效的搜索解決方案。
媒體轉碼
為多媒體數據提供的轉碼計算服務。它以經濟、彈性和高可擴展的音視頻轉換方法,將多媒體數據轉碼成適合在PC、TV以及移動終端上播放的格式。
性能測試
全球領先的SaaS性能測試平台,具有強大的分布式壓測能力,可模擬海量用戶真實的業務場景,讓應用性能問題無所遁形。性能測試包含兩個版本,Lite版適合於業務場景簡單的系統,免費使用;企業版適合於承受大規模壓力的系統,同時每月提供免費額度,可以滿足大部分企業客戶。
移動數據分析
一款移動App數據統計分析產品,提供通用的多維度用戶行為分析,支持日誌自主分析,助力移動開發者實現基於大數據技術的精細化運營、提升產品質量和體驗、增強用戶黏性。 阿里雲旗下萬網域名,連續19年蟬聯域名市場NO.1,近1000萬個域名在萬網注冊!除域名外,提供雲伺服器、雲虛擬主機、企業郵箱、建站市場、雲解析等服務。2015年7月,阿里雲官網與萬網網站合二為一,萬網旗下的域名、雲虛擬主機、企業郵箱和建站市場等業務深度整合到阿里雲官網,用戶可以網站上完成網路創業的第一步。

❻ 阿里雲分布式資料庫服務DRDS誰使用過 簡單講講!

淘寶開源的TDDL和cobar的結合,放到了阿里雲上就是DRDS,是商品,服務,可以購買使用的。可以在阿里雲官網上注冊免費試用。

=====================================================
隨著互聯網時代的到來,計算機要管理的數據量呈指數級別地飛速上漲,而我們卻完全無法對用戶數做出准確預估。我們的系統所需要支持的用戶數,很可能在短短的一個月內突然爆發式地增長幾千倍,數據也很可能快速地從原來的幾百GB飛速上漲到了幾百個TB。如果在這爆發的關鍵時刻,系統不穩定或無法訪問,那麼對於業務將會是毀滅性的打擊。
伴隨著這種對於系統性能、成本以及擴展性的新需要,以HBase、MongoDB為代表的NoSQL資料庫和以阿里DRDS、VoltDB、ScaleBase為代表的分布式NewSQL資料庫如雨後春筍般不斷涌現出來。
本文將會介紹阿里DRDS的技術理念、發展歷程、技術特性等內容。
DRDS設計理念
從20世紀70年代關系資料庫創立開始,其實大家在資料庫上的追求就從未發生過變化:更快的存取數據,可以按需擴縮以承載更大的訪問量和更大的數據量,開發容易,硬體成本低,我們可以把這叫做資料庫領域的聖杯。
為了支撐更大的訪問量和數據量,我們必然需要分布式資料庫系統,然而分布式系統又必然會面對強一致性所帶來的延遲提高的問題,因為網路通信本身比單機內通信代價高很多,這種通信的代價就會直接增加系統單次提交的延遲。延遲提高會導致資料庫鎖持有時間變長,使得高沖突條件下分布式事務的性能不升反降(這個具體可以了解一下Amdahl定律),甚至性能距離單機資料庫都還有明顯的差距。
從上面的說明,我們可以發現,問題的關鍵並不是分布式事務做不出來,而是做出來了卻因為性能太差而沒有什麼卵用。資料庫領域的高手們努力了40年,但至今仍然沒有人能夠很好地解決這個問題,Google Spanner的開發負責人就經常在他的Blog上談論延遲的問題,相信也是飽受這個問題的困擾。
面對這個難題,傳統的關系資料庫選擇了放棄分布式的方案,因為在20世紀70~80年代,我們的資料庫主要被用來處理企業內的各類數據,面對的用戶不過幾千人,而數據量最多也就是TB級別。用單台機器來處理事務,用個磁碟陣列處理一下磁碟容量不夠的問題,基本上就能解決一切問題了。
然而,信息化和互聯網的浪潮改變了這一切,我們突然發現,我們服務的對象發生了根本性變化,從原來的幾千人,變成了現在的幾億人,數據量也從TB級別到了PB級別甚至更多。存在單點的單機系統無論如何努力,都會面對系統處理能力的天花板。原來的這條路,看起來是走不下去了,我們必須想辦法換一條路來走。
可是,分布式資料庫所面對的強一致性難題卻像一座高山,人們努力了無數個日日夜夜,但能翻越這座山的日子看來仍然遙遙無期。
於是,有一群人認為,強一致性這件事看來不怎麼靠譜,那徹底繞開這個問題是不是個更好的選擇?他們發現確實有那麼一些場景是不需要強一致事務的,甚至連SQL都可以不要,最典型的就是日誌流水的記錄與分析這類場景。而去掉了事務和SQL,介面簡單了,性能就更容易得到提升,擴展性也更容易實現,這就是NoSQL系統的起源。
雖然NoSQL解決了性能和擴展性問題,但這種繞開問題的方法給用戶帶來了很多困擾,系統的開發成本也大大提升。這時候就有另外一群人,他們覺得用戶需要SQL,覺得用戶也需要事務,問題的關鍵在於我們要努力地往聖杯的方向不斷前進。在保持系統的擴展性和性能的前提下,付出盡可能小的代價來滿足業務對資料庫的需要。這就是NewSQL這個理念的由來。
DRDS也是一個NewSQL的系統,它與ScaleBase、VoltDB等系統類似,都希望能夠找到一條既能保持系統的高擴展性和高性能,又能盡可能保持傳統資料庫的ACID事務和SQL特性的分布式資料庫系統。
DRDS發展歷程
在一開始,TDDL的主要功能就是做資料庫切分,一個或一組SQL請求提交到TDDL,TDDL進行規則運算後得知SQL應該被分發到哪個機器,直接將SQL轉發到對應機器即可(如圖1)。

圖1 TDDL資料庫切分
開始的時候,這種簡單的路由策略能夠滿足用戶的需要,我們開始的那些應用,就是通過這樣非常簡單的方式完成了他所有的應用請求。我們也認為,這種方案簡單可靠,已經足夠好用了。
然而,當我們服務的應用從十幾個增長到幾百個的時候,大量的中小應用加入,大家紛紛表示,原來的方案限制太大,很多應用其實只是希望做個讀寫分離,希望能有更好的SQL兼容性。
於是,我們做了第一次重大升級,在這次升級里,我們提出了一個重要的概念就是三層架構,Matrix對應資料庫切分場景,對SQL有一定限制,Group對應讀寫分離和高可用場景,對SQL幾乎沒有限制。如圖2所示。

圖2 資料庫升級為三層架構
這種做法立刻得到了大家的認可,TDDL所提供的讀寫分離、分庫分表等核心功能,也成為了阿里集團內資料庫領域的標配組件,在阿里的幾乎所有應用上都有應用。最為難得的是,這些功能從上線後,到現在已經經歷了多年雙11的嚴酷考驗,從未出現過嚴重故障(p0、p1級別故障屬於嚴重故障)。資料庫體系作為整個應用系統的重中之重,能做到這件事,真是非常不容易。
隨著核心功能的穩定,自2010年開始,我們集中全部精力開始關注TDDL後端運維系統的完善與改進性工作。在DBA團隊的給力配合下,圍繞著TDDL,我們成功做到了在線數據動態擴縮、非同步索引等關鍵特徵,同時也比較成功地構建了一整套分布式資料庫服務管控體系,用戶基本上可以完全自助地完成整套資料庫環境的搭建與初始化工作。
大概是2012年,我們在阿里雲團隊的支持下,開始嘗試將TDDL這套體系輸出到阿里雲上,也有了個新的名字:阿里分布式資料庫服務(DRDS),希望能夠用我們的技術服務好更多的人。
不過當我們滿懷自信地把自己的軟體拿到雲上的時候,卻發現我們的軟體距離用戶的要求差距很大。在內部因為有DBA的同學們幫助進行SQL review,所以SQL的復雜度都是可控的。然而到了雲上,看了各種渠道提過來的兼容性需求,我們經常是不自覺地發出這樣的感嘆:「啊?原來這種語法MySQL也是可以支持的?」
於是,我們又進行了架構升級,這次是以兼容性為核心目標的系統升級工作,希望能夠在分布式場景下支持各類復雜的SQL,同時也將阿里這么多年來在分布式事務上的積累都帶到了DRDS裡面。
這次架構升級,我們的投入史無前例,用了三年多才將整個系統落地完成。我們先在內部以我們自己的業務作為首批用戶上線,經過了內部幾百個應用的嚴酷考驗以後,我們才敢拿到雲上,給到我們的最終用戶使用。
目前,我們正在將TDDL中更多的積累輸出到雲上,同時也努力優化我們的用戶界面。PS:其實用戶界面優化對我們這種專注於高性能後端技術的團隊來說,才是最大的技術挑戰,連我也去學了AngularJS,參與了用戶UI編。
DRDS主要功能介紹
發展歷史看完了,下面就由我來介紹一下目前我們已經輸出到雲上的主要功能。
【分布式SQL執行引擎】
分布式SQL引擎主要的目的,就是實現與單機資料庫SQL引擎的完全兼容。目前我們的SQL引擎能夠做到與MySQL的SQL引擎全兼容,包括各類join和各類復雜函數等。他主要包含SQL解析、優化、執行和合並四個流程,如圖3中綠色部分。

圖3 SQL引擎實現的主要流程
雖然SQL是兼容的,但是分布式SQL執行演算法與單機SQL的執行演算法卻完全不同,原因也很簡單,網路通信的延遲比單機內通信的延遲大得多。舉個例子說明一下,我們有份文件要從一張紙A上謄寫到另外一張紙B上,單機系統就好比兩張紙都在同一個辦公室里,而分布式資料庫則就像是一張紙在北京,一張紙在杭州。
自然地,如果兩張紙在同一個辦公室,因為傳輸距離近,逐行謄寫的效率是可以接受的。而如果距離是北京到杭州,用逐行謄寫的方式,就立刻顯得代價太高了,我們總不能看一行,就打個「飛的」去杭州寫下來吧。在這種情況下,還是把紙A上的信息拍個照片,【一整批的】帶到杭州去處理,明顯更簡單一些。這就是分布式資料庫特別強調吞吐調優的原因,只要是涉及到跨機的所有查詢,都必須盡可能的積攢一批後一起發送,以減少系統延遲提高帶來的不良影響。
【按需資料庫集群平滑擴縮】
DRDS允許應用按需將新的單機存儲加入或移出集群,DRDS則能夠保證應用在遷移流程中實現不停機擴容縮容。

圖4 DRDS按需進行平滑擴縮
在內部的資料庫使用實踐中,這個功能的一個最重要應用場景就是雙11了。在雙11之前,我們會將大批的機器加入到我們的資料庫集群中,抗過了雙11,這批機器就會下線。
當DRDS來到雲上,我們發現雙11其實不僅僅隻影響阿里內部的系統。在下游的各類電商輔助性系統其實也面對巨大壓力。在雙11前5天,網聚寶的熊總就找到我說,擔心撐不過雙11的流量,怕系統掛。於是我們就給他介紹了這個自動擴容的功能怎麼用,他買了一個月的資料庫,掛接在DRDS上。資料庫能力立刻翻倍,輕松抗過了雙11,也算是我印象比較深刻的一個案例了。
因為我們完全無法預測在什麼時間點系統會有爆發性的增長,而如果在這時候系統因為技術原因不能使用,就會給整個業務帶來毀滅性的影響,風口一旦錯過,就追悔莫及了。我想這就是雲計算特別強調可擴展能力的原因吧。
【小表廣播】
小表廣播也是我們在分布式資料庫領域內最常用的工具之一,他的核心目的其實都是一個——盡可能讓查詢只發生在單機。
讓我們用一個例子來說明,小表廣播的一般使用場景。

圖5 小表廣播場景
圖5中,如果我想知道買家id等於0的用戶在商城裡面買了哪些商品,我們一般會先將這兩個表join起來,然後再用where平台名=」商城」 and buyerID = 0找到符合要求的數據。然而這種join的方式,會導致大量的針對左表的網路I/O。如果要取出的數據量比較大,系統延遲會明顯上升。
這時候,為了提升性能,我們就必須要減少跨機join的網路代價。我們比較推薦應用做如下處理,將左表復制到右表的每一個庫上。這樣,join操作就由分布式join一下變回到本地join,系統的性能就有很大的提升了,如圖6所示。

圖6
【分布式事務套件】
在阿里巴巴的業務體系中存在非常多需要事務類的場景,下單減庫存,賬務,都是事務場景最集中的部分。
而我們處理事務的方法卻和傳統應用處理事務的方案不大一樣,我們非常強調事務的最終一致性和非同步化。利用這種方式,能夠極大地降低分布式系統中鎖持有的時間,從而極大地提升系統性能。

圖7 DRDS分布式事務解決套件
這種處理機制,是我們分布式事務能夠以極低成本大量運行的最核心法門。在DRDS平台內,我們將這些方案產品化,為了DRDS的分布式事務解決套件。
利用他們,能夠讓你以比較低的成本,實現低延遲,高吞吐的分布式事務場景。
DRDS的未來
阿里分布式資料庫服務DRDS上線至今,大家對這款產品的熱情超出了我們的預期,短短半年內已經有幾千個申請。
盡管還在公測期,但是大家就已經把關繫到身家性命的寶貴在線數據業務放到了DRDS上,我能夠感受到這份沉甸甸的信賴,也不想辜負這份信賴。
經過阿里內部幾千個應用的不斷歷練,DRDS已經積累出一套強大的分布式SQL執行引擎和和一整套分布式事務套件。
我也相信,這些積累能夠讓用戶在基本保持單機資料庫的使用習慣的前提下,享受到分布式資料庫高性能可擴展的好處。
在平時的DRDS支持過程中,我面對最多的問題就是,DRDS能不能夠在不改變任何原有業務邏輯和代碼的前提下,實現可自由伸縮和擴展呢?十分可惜的是,關系資料庫發展至今,還沒有找到既能保留傳統資料庫一切特性,又能實現高性能可擴展資料庫的方法。
然而,雖不能至,吾心嚮往之!我們會以「可擴展,高性能」為產品核心,堅定地走在追尋聖杯的路上,並堅信最終我們一定能夠找尋到它神聖的所在。
作者簡介:王晶昱,花名沈詢,阿里巴巴資深技術專家。目前主要負責阿里的分布式資料庫DRDS(TDDL)和阿里的分布式消息服務ONS(RocketMQ/Notify)兩個系統。

❼ 再不懂時序就OUT啦!阿里雲資料庫InfluxDB正式商業化

阿里雲資料庫 InfluxDB® 版已於近日正式啟動商業化 。 雲資料庫 InfluxDB® 是基於當前最流行的開源資料庫 InfluxDB 提供的在線資料庫服務,相比較開源具有免運維,穩定可靠,可彈性伸縮的優勢,廣泛應用於互聯網基礎資源監控,容器監控,業務運營監控分析,物聯網設備遠程實時監控,工業安全生產監控,生產質量評估和故障回溯。提供時序數據自動化採集,壓縮存儲,類SQL查詢,多維聚合計算和數據可視化分析能力。點擊關注,InfluxDB 商業化活動

時序數據和企業業務密切相關,不可或缺。任何一家企業都需要一套高效的運維系統保證實時發現應用和業務問題,通過監控,故障告警的手段,進行故障定位,保證在線業務的穩定,減少不可用時常。業務運營人員依賴運營系統,保證有充足的數據進行業務分析判斷,便於更准確的做出業務決策。物聯網企業和工業企業都需要能夠實時掌握設備的運行狀態,對生產過程進行監控,實時判故障預警,故障定位,故障回溯以及業務。以上業務場景都需要時序數據作為「數據證據」來表示指標「變化」過程,進而達到告警,診斷,修復和預測的業務目的。

時序數據很簡單,構成具有三個要素,主體,時間戳,和指標數據。比如: xxx公司(主體)2019年8月26日上午10時,11時, 12時(時間戳)的股價分別是:160 USD,165 USD,180 USD(指標值)。概括來說,區別於關系資料庫關心的是「最終結果」。時序數據表示的是資產或者過程是如何隨著時間變化的,體現的是「變化」的過程價值。

時序數據主要應用在:運維監控,運營分析,設備監控,BI分析,工業安全生產監控場景。這些場景上,產生的核心數據是時序數據,業務特徵表現在 寫多讀少 ,無事務性要求,數據分析強關聯時間維度,且實時性要求高。

時序資料庫針對時序數據業務特徵進行針對性的數據存儲結構設計,以及存儲方式的優化,在監控等時序業務場景下數據的寫入,讀取,分析能力相比較傳統的關系型資料庫如 MySQL ,具有百倍的性能提升。

從數據存儲架構上看,關系資料庫通常按照行來記錄一條時間記錄數據,且順序記錄之間無主體關聯性,單個主體的記錄數據隨機分散在多行,如果是分布式資料庫甚至分布在多個分分庫上,記錄之間也沒有時間順序組織數據,連續時間戳的數據,分散在不連續的存儲上,這樣就造成按照主體和時間維度的數據寫入和存儲的效率大大降低。

而時序資料庫按照主體為維度進行數據存儲和索引,完全按照業務使用場景組織數據,相同主體指標數據組織在一起,並且按照時間為度進行分片存儲,只需要獲取主體信息和時間分片信息就可以順序進行寫入和讀取操作。單次IO請求磁碟尋道的時間和獲取數據量比關系資料庫尋道的效率和獲取數據量都要高,查詢的時間區間越大,查詢主體越多,數據越多,效率差異越大,整體性能比關系資料庫要高出十倍甚至百倍。

雲InfluxDB® 相比較開源InfluxDB 優勢明顯。 雲InfluxDB 提供雲服務的方式,有行業頂級的專家支持服務,具有 免安裝,免運維,穩定性高,數據高可靠的優勢。使用雲存儲的方案,數據多副本存儲,數據可靠性達到99.9999% 。

自建快速遷移上雲

雲 InfluxDB 提供了快速遷雲的工具,只需動動滑鼠就可以完成自建InfluxDB 到 雲 InfluxDB 的遷移。

類SQL 開發友好,快速上手

阿里雲 InfluxDB 完全兼容開源 InfluxDB ,面向開發友好, 為了方便傳統關系資料庫開發者能夠快速適應Influx DB開發, 提供給了類 SQL的查詢語言 InfluxQL,在提供強大的時序分析能力的基礎上,最大程度的沿用了SQL的開發模式,使得學習成本大大降低。

集成數據採集,搭建監控更簡單

阿里雲資料庫 InfluxDB 繼承了 Influx DB 良好的開源生態,具有完整的數據採集,存儲和數據可視化監控告警體系 TICK Stack 支撐。 同時相比較開源產品,提供了產品化的數據採集服務,只需在控制台進行幾步簡單操作,「0」 代碼完成各類監控源的監控數據自動採集。

雲InfluxDB® 金融高可用版即將推出

服務的高可靠和數據一致性對金融類企業至關重要,開源的InfluxDB 沒有提供高可靠的HA 版本,阿里雲InfluxDB 針對金融,保險,銀行,涉及數據和服務高可靠的研發了 HA高可用版本, 目前正在商業化上線的過程中,不久就可上線提供服務。

雲InfluxDB® 商業化限時優惠

❽ 阿里雲服務對象有哪些

1.雲伺服器ECS

雲伺服器ECS:雲計算產品的基本款,幾乎每個客戶都必買的,雲伺服器從1核1G到32核64G(隨著時間推移,配置會越來越高),各種優惠都有,不同時段有不同的優惠活動,可以參考阿里雲惠網;關於伺服器配置還可以隨意升降配置,可以包年包月,也可以按量隨用隨買。對於很多小公司及個人,只購買一台雲伺服器ECS就夠用了。對於稍微大一點的企業從性能、安全、載入速度等方面諸多考慮,可能需要購買其他的阿里雲產品。

阿里雲從雲伺服器ECS衍生出來很多雲伺服器系列,例如適用於初級用戶的輕量應用伺服器,還有為了迎合各種高性能場景的雲伺服器,諸如GPU雲伺服器、FPGA雲伺服器、神龍雲伺服器等,總之都是雲伺服器,是企業上雲的基本款。

2.雲資料庫RDS

雲資料庫:目前主流是MySQL,阿里雲提供MySQL、PostgreSQL,SQL Server,MongoDB,Memcache(Redis)等不同的資料庫產品。相對於雲伺服器,雲資料庫屬於非必需品,因為用戶完全可以在雲伺服器上搭建資料庫。由於自身業務發展需要,將資料庫獨立出來,這時候就需要阿里雲的RDS雲資料庫了。

3.負載均衡SLB

負載均衡SLB:對多台雲伺服器進行流量分發服務。為了應對業務需求,企業往往會有多台雲伺服器提供伺服器,負載均衡就是將用戶的請求按照企業自定義的策略轉發到最優的伺服器。

4.對象存儲OSS

如果企業靜態文件較多(圖片、視頻等大文件),可以將大量的存儲內容轉移獨立出來,放到對象存儲OSS裡面。

5.CDN

內容分發網路,假設企業的雲伺服器在杭州,那麼位於東北地區的用戶訪問速度就會比較慢,CDN可以解決這個問題,CDN將源站內容分發至最接近用戶的節點,使用戶可就近取得所需內容,提高用戶訪問的響應速度和成功率。

6.專有網路 VPC

大家普遍會給阿里雲打上公有雲的標簽,實際上阿里雲可以提供的不僅僅是公有雲,還有私有雲、混合雲等。專有網路VPC可以幫助企業在阿里雲構建出一個隔離的網路環境,用戶可以自定義IP 地址范圍、網段、路由表和網關等,VPC可以提供更安全和靈活的網路環境,為我們構建混合雲提供服務。

7.彈性伸縮

傳統的企業自建的私有機房是不具有彈性伸縮功能的,假設企業遇到業務波峰,只能通過人為的升級硬體來應對,業務回落時就會造成硬體資源的浪費,而彈性伸縮很好的解決了這個痛點。阿里雲彈性伸縮可以管理您的集群,在高峰期自動增加ECS實例,在業務回落時自動減少ECS實例,節省基礎設施成本。另外,這個彈性伸縮是免費的。

8.DDoS高防IP

DDoS是目前比較常見的攻擊方式,為了抵禦DDoS攻擊,用戶可以通過配置高防IP,將攻擊流量引流到高防IP,確保源站的穩定可靠。講真,阿里雲的DDoS高防IP還挺貴的。

9.安騎士

當用戶購買了雲伺服器ECS後,可能會受到阿里雲發送的安騎士漏洞風險簡訊,安騎士一款主機安全軟體,為您提供主機漏洞檢測、基線檢查、病毒查殺、資產統一管理等功能,為您建立安全運維管理平台。安騎士企業版可以免費試用7天,之後想再使用,是需要付費的。

10.證書服務

我們在訪問網站時,會在瀏覽器的地址欄中看到綠色的鎖,意思是該網站是基於HTTPS協議的。前幾年網站基本上都是基於http協議,阿里雲網路網目前還是基於http協議,相對於http協議,https提供了一層加密服務,會更加安全一些。網站想要實現HTTPS,可以向阿里雲申請簽發證書伺服器,即我們常說的SSL證書。阿里雲目前可以申請到免費的SSL證書(Symantec賽門鐵克品牌)。

11.態勢感知

態勢感知說起來還比較高端,有點類似於先知的意思。態勢感知會收集企業20種原始日誌和網路空間威脅情報,利用機器學習還原已發生的攻擊,並預測未發生的攻擊,幫客戶擴大安全可見性,並集中管理雲上資產安全事件。

12.堡壘機

日防夜防家賊難防,開個玩笑哈。企業往往更加關注外部的安全威脅而忽略了企業內部,實際上運維人員誤操作或者仿冒運維人員將對企業造成很嚴重的損失,更有甚至是致命的。例如:攜程的宕機12小時事件,由於員工錯誤操作,刪除了伺服器代碼,據不完全統計,攜程宕機帶來的直接損失就是每小時160萬美金。堡壘機基於協議正向代理實現,對SSH、Windows遠程桌面、SFTP等常見運維協議的 數據流進行全程記錄,再通過協議數據流重組的方式進行錄像回放,達到運維審計的目的。

13.消息隊列MQ

說起消息隊列,最典型的應用場景就是一年一度的雙十一購物節,消息隊列是一個真正具備低延遲、高並發、高可用、高可靠,可支撐萬億級數據洪峰的分布式消息中間件。當小仙女們開啟大規模的剁手模式時,用戶大量並發訪問商品資料庫,消息隊列可以緩解瓶頸,減少頁面響應時間,當然還有其他方面的功能優勢,咱這里阿里雲網路網就不過多贅述,雙十一就是MQ的典型應用場景,大概就是這么個意思。

14.域名

域名與主機ip綁定,通過域名解析訪問到主機上的服務,主要是簡單易記,相當於別名。

15.虛擬主機

新手建站一般都是從虛擬主機開始的,無需自己配置web環境,簡單易管理,價格也便宜。

16.企業郵箱

企業郵箱就是以公司域名為後綴的郵箱,企業自建的郵件系統。目前各大互聯網大佬,例如:阿里雲、騰訊雲、網易等都有提供免費版的企業郵箱,如果想解除諸多限制,可以選購阿里雲的企業郵箱付費版。

17.雲解析DNS

DNS就是將你的域名解析到伺服器的IP上,一般來講域名解析是免費的,免費版就夠用了。