当前位置:首页 » 数据仓库 » 阿里数据库开源
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

阿里数据库开源

发布时间: 2023-06-03 16:30:33

㈠ 对话阿里云李飞飞:关于云原生数据库的五大预判

作者:王慧贤

数据存储、数据分析、数据安全......如今,围绕“数据”的话题越来越多,离人们的生活也越来越近。

从陌生到熟悉,数据不仅“出圈”,甚至已然站在了C位。去年,中央发布的《关于构建更加完善的要素市场化配置体制机制的意见》中明确表示,继土地、劳动力、资本、技术后,数据成为第五大生产要素。

步入信息化时代后,数据库、操作系统与中间件作为计算机最基础的三大软件,支撑着企业的正常运行。

当数据成为生产要素后,必然会迎来爆发式增长,企业的数据存储和处理需求将进一步释放。更重要的是,疫情加快了数字化转型的脚步,更加速了企业的上云速度。

从信息化到数字化,时代的变革,总会带来商业世界的变化。如何在云原生架构下使用数据库,成为企业的痛点和云厂商的机会,亚马逊AWS的CTO Werner Vogels曾多次强调:“数据库是云计算的终极之战。”

在数智化时代,云原生到底意味着什么?云原生数据库和传统数据库相比,核心优势是什么?是否把数据库搬上云就是云原生?基于这些问题,雷锋网与阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞展开一场对话。

国产云原生数据库,摆脱“切肤之痛”

如今,数据库的商业世界,因为云的出现与发展,分成了两大派系。

一派是以Oracle为代表的传统商用数据库,一派是以国外AWS、国内阿里云为代表的云原生数据库,去“IOE革命”下的产物。

其实,早期较为火热的数据库种类有三种,层次式数据库、网络式数据库和关系型数据库。

在《浪潮之巅》一书中,作者吴军写下了这样的观点:“Oracle 的兴起很大程度上靠的是它最早看到关系型数据库的市场前景,并且在商业模式上优于 IBM。”

因此,在云原生数据库“入世”之前,数据库的天下一直是Oracle的,国内大部分互联网公司都不得不采用Oracle+IBM小型机+EMC的模式来维持正常运营。

高昂的费用,使得对于数据库需求较大的互联网巨头“忍无可忍”。

2009年,阿里巴巴的Oracle RAC 集群节点数达到了创记录的20个。可由于Oracle并没有弹性扩展的功能,只能按照峰值流量购买小型机和数据库,导致阿里将业务上涨带来的大部分利润,都支付给了Oracle。

第二年,阿里便开始走上了去“IOE”之路,根据开源Mysql搭建了AliSQL,并顺利经过了淘宝双11的考验,国产云原生数据库算是正式摆脱了“切肤之痛”,逐渐受到市场的真正认可。

另一边,国外的AWS在2015年公布了基于云计算的自研数据库Amazon Aurora。Aurora是一个关系型数据库,可以跨3个可用区域复制6份数据,其最大的特性就是高性能和高可用性。

云计算巨头的入局,让云原生数据库在国内外一步步成为主流。据Gartner预测,到了2021年,云数据库在整个数据库市场中的占比将首次达到50%,到2023年,75%的数据库都要跑在云平台之上。

关于云原生数据库,随着逐步的出圈,也让人们关心的焦点从“是啥?”转变为“还能解决哪些问题?”

但云原生数据库存在着数据孤岛的问题,无法打通多个数据系统的情况下,企业在数据加工和数据管理上就会“压力较大”,甚至在数据安全方面还存在隐患。

传统数据仓库一般基于T+1数据集成构建离线数仓,以支撑企业各项分析与服务。传统方案不但会影响线上业务稳定性,且难以支持企业的实时需求。

因此,在李飞飞看来,云原生数据库已经走到2.0阶段。这个阶段要解决的问题,就是上述存在的痛点。

9月26日,在阿里云数据库创新上云峰会上,阿里云发布了首个一站式敏捷数据仓库解决方案。该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB(简称:ADB),实现了库仓一体的技术架构,提供在线数据实时入仓、T+1周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,使企业的在线数据可以释放出更大的价值。

相较于传统方案,阿里云一站式敏捷数据仓库解决方案有4大核心优势:

1、对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于5%;

2、事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率100m/s,数据延时在10秒内;

3、支持复杂实时数据加工、计算逻辑;

4、低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。

除了实时统计分析场景外,企业为满足周期性数据分析需求,需建设周期性全量快照。

传统数仓的周期性全量集成方案会对生产业务造成稳定性影响、全量集成时效性差、且无法满足客户针对任意时间点进行数据回溯的业务诉求。

针对T+1周期性集成场景,一站式敏捷数据仓库解决方案支持基于拉链表的T+1全量数据快照,用户通过简单几个步骤,即可按需生成各种周期的全量或增量快照。

此外,业务还可按需进行任意时间点的数据回溯,以快速解决数据异常问题。

谈起未来数据库的发展趋势,李飞飞提到以下五点:

1、云原生+分布式一定是数据库的标配,分布式已经是必选项。分布式数据库由多个相互连接的数据库组合而成,面向用户则是以单个数据库的形态出现。云原生分布式数据库具备易用性、高扩展性、快速迭代、节约成本等特征,从资源池化到弹性扩展,再到智能运维,再到离在线一体化,解决企业用户的核心诉求。

2、AI for DB(database,指数据库)和 DB for AI 将是主流趋势。用AI将数据库运维管控智能化,尤其在云原生+分布式这个前提下更重要,因为数据库不仅是内核的能力弹性高可用、可拓展性,更重要的是部署后应用和运维的复杂度要大大降低。在数据库里,面对越来越多非结构化的数据,分析能力十分重要。

3、数据的安全可信,在今天这个大环境下变得愈发重要,如何确保整个数据库系统,在处理数据全链路过程中提供加密能力、多方安全计算能力、隐私保护的能力,也是很重要的趋势。

4、多模数据处理能力将越来越重要。比如,新型数据库多模态的处理能力,在新能源 汽车 企业打标签、智能电池化预测等应用场景中,将发挥越来越重要的作用。

5、一份数据,多个数据处理引擎:实现仓库一体、仓库联动、仓库打通,数据之间无缝流转。

以上判断,也从侧面反映出阿里云数据库的走向,这点毋庸置疑。但除此之外,业界最关心的,还有开源。

近半年,国内很多厂商相继提出开源战略,背后缘由显而易见,为了打造生态。就在今年的阿里云峰会上,阿里云智能总裁、达摩院院长张建锋(花名行癫)将2021年阿里云的发展关键词归纳为:做好服务、做深基础、做厚中台、做强生态。

做好服务与生态,成为如今厂商们不约而同的目标,而开源,就是最好的选择。

当雷锋网问到:“未来,阿里云数据库会不会把所有能力都开源?”这一问题时,李飞飞给到的回答是:“不会。”

之所以有这样的回答,是因为对于开源,他有着一些判断和看法。

李飞飞表示,这些部分,本就是阿里云数据库的商业化版本。

事实上,业界大多数的数据库厂商都不会针对自身的核心能力开源,如TiDB的核心管控组件、TiFlash。

与像MongoDB,、Cassandra、CouchDB这些以开源起家的数据库厂商不同,开源只是阿里云数据库的战略,不是阿里云数据库的命脉。

前几年,有业内人士表示,在面向开源时,国产数据库首先需要解决信任以及开源知识产权等问题。“开源会让厂商更加认真思考版权还有专利的问题,事实上,选择开源后,对于数据库厂商提出了更高的要求。”

李飞飞认为,开源只是一种选择,数据库开源成功并不代表着商业化就能够成功,不开源也不能代表厂商不先进。

更准确的说,开源只是一种有效手段。

最终,阿里云数据库希望客户能够通过开源版本把阿里云数据库产品技术快速用起来,并能够参与到技术产品的迭代过程中,在一些高阶能力上,借鉴团队专业能力和阿里云的服务能力,成为良好的商业合作伙伴,这是李飞飞以及阿里云数据库对于开源的一些基本思考。雷锋网雷锋网雷锋网

㈡ 阿里数据库运用范围

阿里数据库运用范围:大数据计算服务(MaxCompute,原ODPS),Data IDE(原BASE),数据集成(原CDP云道),大数据基础服务包括 Maxcompute 分析型数据库等。

无需用户自己考虑高可用、备份恢复等问题,而且阿里针对开源的数据库做了部分优化。另外提供一些诸如监控、告警、备份、恢复、调优的手段。就是减轻用户在业务无关方面的花销,花小钱省下力气聚焦在自己的业务上。

阿里数据库特性:

实例创建快速选择好需要的套餐后,RDS控制台会根据选择的套餐优化配置参数,短短几分钟一个可以使用的数据库实例就创建好了。

支持只读实例RDS只读实例面向对数据库有大量读请求而非大量写请求的读写场景,通过为标准实例创建多个RDS只读实例,赋予标准实例弹性的读能力扩展,从而增加用户的吞吐量。

故障自动切换主库发生不可预知的故障(如:硬件故障)时,RDS将自动切换该实例下的主库实例,恢复时间一般<5min。

㈢ 大数据常用同步工具

一、离线数据同步

DataX

阿里的Datax是比较优秀的产品,基于python,提供各种数据村塾的读写插件,多线程执行,使用起来也很简单,操作简单通常只需要两步;

创建作业的配置文件(json格式配置reader,writer);

启动执行配置作业。

非常适合离线数据,增量数据可以使用一些编码的方式实现,

缺点:仅仅针对insert数据比较有效,update数据就不适合。缺乏对增量更新的内置支持,因为DataX的灵活架构,可以通过shell脚本等方式方便实现增量同步。

参考资料:

github地址:https://github.com/alibaba/DataX

dataX3.0介绍:https://www.jianshu.com/p/65c440f9bce1

datax初体验:https://www.imooc.com/article/15640

文档:https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

Sqoop

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

地址:http://sqoop.apache.org/

Sqoop导入:导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。

Sqoop导出:导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录,这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。

Sqoop支持全量数据导入和增量数据导入(增量数据导入分两种,一是基于递增列的增量数据导入(Append方式)。二是基于时间列的增量数据导入(LastModified方式)),同时可以指定数据是否以并发形式导入。

Kettle

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。

Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业,方便实现全量、增量数据同步。缺点是通过定时运行,实时性相对较差。

NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。

NiFi基于Web方式工作,后台在服务器上进行调度。 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理引擎、任务调度等组件。

几个核心概念:

Nifi 的设计理念接近于基于流的编程 Flow Based Programming。

FlowFile:表示通过系统移动的每个对象,包含数据流的基本属性

FlowFile Processor(处理器):负责实际对数据流执行工作

Connection(连接线):负责不同处理器之间的连接,是数据的有界缓冲区

Flow Controller(流量控制器):管理进程使用的线程及其分配

Process Group(过程组):进程组是一组特定的进程及其连接,允许组合其他组件创建新组件

参考资料

Nifi简介及核心概念整理

官方网站:http://nifi.apache.org/index.html

二、实时数据同步

实时同步最灵活的还是用kafka做中间转发,当数据发生变化时,记录变化到kafka,需要同步数据的程序订阅消息即可,需要研发编码支持。这里说个mysql数据库的同步组件,阿里的canal和otter

canal

https://github.com/alibaba/canal

数据抽取简单的来说,就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换,ETL工具能进行一次性或者定时作业抽取数据,不过canal作为阿里巴巴提供的开源的数据抽取项目,能够做到实时抽取,原理就是伪装成mysql从节点,读取mysql的binlog,生成消息,客户端订阅这些数据变更消息,处理并存储。下面我们来一起搭建一下canal服务

早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析,当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基于日志增量订阅&消费支持的业务:

数据库镜像

数据库实时备份

多级索引 (卖家和买家各自分库索引)

search build

业务cache刷新

价格变化等重要业务消息

otter

https://github.com/alibaba/otter

otter是在canal基础上又重新实现了可配置的消费者,使用otter的话,刚才说过的消费者就不需要写了,而otter提供了一个web界面,可以自定义同步任务及map表。非常适合mysql库之间的同步。

另外:otter已在阿里云推出商业化版本 数据传输服务DTS, 开通即用,免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配,解决了Binlog日志回收,主备切换、VPC网络切换等场景下的同步高可用问题。同时,针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑,强烈推荐阿里云用户使用DTS产品。

㈣ 如何看待国产数据库SequoiaDB开源

如何看待国产数据库SequoiaDB开源

总的来说,我认为有几点吧
1)相比mongo还是有中文的齐全文档,作为中国的码农。。英文文档看得还是头疼啊。
2)应该说开源社区这边的支持还是比较快速的,在群里提问基本当天都会有人回答,然后在刚开始配置和对接程序的时候原厂的同学还在区里手把手教了我们的工程师。。还是很给力的
3)总体上说使用和迁移转换时候不会不上手,不过现在据说多了SQL的支持,还没有尝试过,听起来很厉害的样子,不过他们原生的操作语句也还是很好理解的

如何看待yandex开源clickhouse这个列式文档数据库

Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。悉困更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承 Ingres而来的), Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司,后来该公司被HP收购,HP Vertica成为MPP列式存储商业数据库的高性能代表,Facebook就购买了Vertica数据用于用户行为分析。
简单的说,ClickHouse作为分析型数据库,有三大特点:一是跑分快, 二是功能多 ,三是文艺范
1. 跑分快: ClickHouse跑分是Vertica的5倍快:
ClickHouse性能超过了市面上大部分的列式存储数据库,相比传统的数据ClickHouse要快100-1000X,ClickHouse还是有非常大的优势:
100Million 数据集:
ClickHouse比Vertica约快5倍,比Hive快279倍,比My SQL快801倍
1Billion 数据集:
ClickHouse比Vertica约快5倍,MySQL和Hive已经无法完成任务了
2. 功能多:ClickHouse支持数据统计分析各种场景
- 支持类SQL查询,
- 支持繁多库函数(例如IP转化,URL分析等,预估计算/HyperLoglog等)
- 支持数组(Array)和嵌套数据结构链誉(Nested Data Structure)
- 支持数据库异地复制部署
3.文艺范:目前ClickHouse的限制很多,生来就是为小资服务的
- 目前只支持Ubuntu系统
- 不提供设计和架构文档,设计很神秘的样子,只有开源的C++源码
- 不理睬Hadoop生态,走自己的路

如何看待阿里巴巴宣布开放开源AliSQL数据库

其实有点类似,谷歌开放安卓系统给大家免费用,
某些技术别人要模仿不难,而且专利有效期也不长,
谷歌可能觉得还不如一下子公开了,大家一起弄,能迅速占领市场

如何看待黑客入侵数据库

内网。内棚陆段鬼和外面的黑客一起合作搞的。内鬼的话就比较容易了。

如何看待美国研发的数据库TokuDB?

测试过 TokuMX, 性能确实不错,但稳定性堪忧,mongodb 3.0 后引入了 wiredtiger engine,与 tokumx 差距缩小了
研究过 TokuMX 和 TokuDB 用的索引数据结构,很巧妙的设计,虽然树的深度加倍了,但插入时间确实大幅度降低了。
最后没有采用。

如何看待免费开源CRM

免费开源CRM基本上很难满足企业的实际业务需求,可以考虑一款支持用户个性化定制的CRM,百会的CRM就不错,它可以根据用户需求,在最短时间内定制出来并让用户看到效果。满意之后再付费,没有后顾之忧。定制工具简单,定制速度快。用户完全可以自己操作去满足未来业务的变化。另外它基于SAAS模式的在线租用形势,可以为企业节省购买硬件、安装调试、后期升级的费用成本。定期的售后回访还可以解决不少使用中的问题。

如何看待Facebook已开源React Native

React Native项目成员Tom Ohino发表的React Native: Bringing modern web techniques to mobile(墙外地址)详细描述了React Native的设计理念。Ohino认为尽管Native开发成本更高,但现阶段Native仍然是必须的,因为Web的用户体验仍无法超越Native:
1. Native的原生控件有更好的体验;
2. Native有更好的手势识别;
3. Native有更合适的线程模型,尽管Web Worker可以解决一部分问题,但如图像解码、文本渲染仍无法多线程渲染,这影响了Web的流畅性。
Ohino没提到的还有Native能实现更丰富细腻的动画效果,归根结底是现阶段Native具有更好的人机交互体验。笔者认为这些例子是有说服力的,也是React Native出现的直接原因。
图3 - Ohino在F8分享了React Native(Keynote)
Learn once, write anywhere
“Learn once, write anywhere”同样出自Ohino的文章。因为不同Native平台上的用户体验是不同的,React Native不强求一份原生代码支持多个平台,所以不提“Write once, run anywhere”(Java),提出了“Learn once, write anywhere”。
图4 - “Learn once, write anywhere”
这张图是笔者根据理解画的一张示意图,自下而上依次是:
1. React:不同平台上编写基于React的代码,“Learn once, write anywhere”。
2. Virtual DOM:相对Browser环境下的DOM(文档对象模型)而言,Virtual DOM是DOM在内存中的一种轻量级表达方式(原话是ligheight representation of the document),可以通过不同的渲染引擎生成不同平台下的UI,JS和Native之间通过Bridge通信(React Native通信机制详解 « bang’s blog)。
3. Web/iOS/Android:已实现了Web和iOS平台,Android平台预计将于2015年10月实现(Blog | React)。
前文多处提到的React是Facebook 2013年开源的Web开发框架,笔者在翻阅其发布稿时,发现这么一段:
图5 - 摘自React发布稿(2013)
1. 加亮文字显示2013年已经在开发React Native的原型,现在也算是厚积薄发了。
2. 最近另一个比较火的项目是Flipboard/react-canvas · GitHub(详见 @rank),渲染层使用了Web Canvas来提升交互流畅性,这和上图第一个尝试类似。
React本身也是个庞大的话题不再展开,详见facebook/react Wiki · GitHub。
笔者认为“Write once, run anywhere”对提升效率仍然是必要的,并且和“Learn once, write anywhere”也没有冲突,我们内部正在改造已有的组件库和HybridAPI,让其适配(补齐)React Native的组件,从而写一份代码可以运行在iOS和Web上,待成熟后开源出来。
持续更新...
二、规划
下图展示了业务和技术为React Native所做的改造:
图6 - 业务和技术改造图6 - 业务和技术改造
自下而上:
1. React Node:React支持服务端渲染,通常用于首屏服务端渲染;典型场景是多页列表,首屏服务端渲染翻页客户端渲染,避免首次请求页面时发起2次请求。
2. React Native基础环境:
2.1. Framework集成:尽管React Native放出了Integration with Existing App文档,集成到现有复杂App中仍然会遇到很多细节问题,比如集成到天猫iPad客户端就花了组里iOS同学2天的时间。
2.2. Neorking改造:主要是重新建立session,而session通常存放于 header cookie中,React Native提供的网络IO fetch和XMLHttpRequest不支持改写cookie。所以要不在保证安全的条件下实现fetch的扩展,要么由native负责网络IO(已有session机制)再通过HybridAPI由JS调用,暂时选择了后者。
2.3. 缓存/打包方案:只要有资源从服务器端加载就避免不了这个话题,React Native也是如此,缓存用于解决资源二次访问时的加载性能,打包解决的是资源首次访问时的加载性能。
3. MUI是一套组件库,目前会采用向React Native组件补齐的思路进行改造。
4. HybridAPI是阿里一组Hybrid API,此前也在多个公开场合(如传感器 @杭JS)分享过不再累述,React Native建立了自己的通信机制,看起来更高效(未验证),改造成本不大。
5. 最快的一个业务将于4月中上线,通过最初几个业务改造推动整体系统的改造,如果效果如预期则会启动更大规模的业务改造。
更多详细规划和进展,以及性能、稳定性、扩展性的数据随后放出。
三、风险
1. 尽管Facebook有3款App(Groups、Ads Manager、F8)使用了React Native,随着React Native大规模应用,Appstore的政策是否有变不得而知,我们只能往前走一步。
* 更新:
2015.7.28 AppStore审核政策调整:允许运行于JavascriptCore的动态加载代码,下图是此前的审核政策,对比加亮部分的改变。

qt支持国产数据库吗

应用程序很多情况下需要操作数据库。QT支持多种数据库,但是很多情况需要安装DLL驱动。这就有点麻烦,想当初想用MYSQL的结果就是因为驱动很难装,然后就使用了SQLITE。如果对数据库的要求不是很高的话,Sqlite应该可以满足需求了。

如何看待数据库技术向大数据技术发展的必然

随着数据的积累,一些记载对象的业务状态的数据越来越多,所以就慢慢的形成各行业的大数据,当然有些大数据库,是有可用之处,有些大数据就是个垃圾。
请采纳!

㈤ 阿里有哪些硬核技术在世界上领先

认真的回答这个问题。没有。哈哈哈。会不会很失望。但是,事实就是如此。就给你说说吧

1.阿里云计算

这个首先说一下,阿里目前的云计算技术,排名世界第三。屈居谷歌和微软之后。不过,你对比一下就会知道有多牛逼了。亚马逊发展了在什么地方?微软成立了多少年。亚马逊成立于1995年,微软成立于1975年。阿里成立于1999年。而微软和亚马逊都是全球发展的公司。实力有目共睹,阿里这些年的赶超可是花的大力气。所以,这一点来说阿里的云计算还是很厉害的。

2.阿里的传感城市技术

这个技术实际是一个三维的数字化数据库的概念,这些年阿里通过高德,支付宝,以及阿里系的各个公司,获取到了大量的城市底层数据,现在基本可以利用这个技术,把这个城市进行重建,让一个城市更加宜居,环保,且可持续发展。实际也是可以通过海量数据为一个城市提供大脑虚拟计算,最后做出最优决策。也就是阿里所说的ET城市大脑。

对抗性神经网络

在ET城市大脑项目中,阿里巴巴达摩院的科学家使用对抗性神经网络训练ET城市大脑更好的识别客车、火车、卡车的车牌,将识别精准度提高了10%。此外,科学家还将对抗性神经网络用于双11中,完成了数亿张海报的设计。说句简单的,就是让机器能够拥有一定的思考力和更加快速的反应能力。

一个就是AI技术

强大的人工智能技术,就是让无数的数据荟聚到一个计算机大脑。让一个机器大脑能够拥有大量的知识储量,并且可以进行深度计算,最后会发展到各种程度,谁都不知道。

另外,就是或者还有阿里没有公布的技术。这就是我们不知道的了。或者他在憋着大招,没有放出来,咱谁都不知道。只能说,我相信以后阿里会成为一个合格的 科技 企业, 科技 实力会越来越强。也希望中国有越来越多这样的企业。这样才会让中国的企业在世界有更大的话语权。

谢邀~

从大背景来说,近些年,中国的硬核技术真正做到了起步晚、进步快,是"后来者居上"的典型。在越来越多的新兴行业里中国 科技 也早已占据着巨大的市场份额。而说到世界领先的硬核技术,阿里巴巴作为一家被电商光芒掩盖 科技 实力的互联网公司代表,很有一些东西能说道说道的。

当今爆炸式增长的数据量,使得未来 科技 竞争最重要的赛道当属云计算。而作为早早入局的阿里云已经率先突围,占据头部。据Gartner最新数据,如今亚马逊+微软+阿里占据了全球云计算市场72%的市场份额,而伴随着马太效应的持续演进,头部玩家的优势将会越来越大,未来预测云计算将会持续形成"3A"竞争的三分局面。

值得一提的是,依靠着在亚太地区的强势表现,阿里云去年还成功将亚马逊的王座地位向下拽了两个百分点,背靠着亚太这个全球最大的市场,阿里云的崛起势必还将有一番作为。

此外,诸如大疆的无人机,海康威视的监控、安保设备也都已经站在各自行业的顶端了,不得不说中国 科技 已经从过去的陪跑者变成了如今的竞争者甚至是领先者。

从当年的中华有为到如今的众帆竞航,中国 科技 的崛起想必会让世界重新认识这个沉睡的东方雄狮。

按惯例,各个击破。

先说硬核技术, 科技 领域的技术多不胜数,哪些技术才配称的上是"硬核技术"?个人认为,能决定未来的技术,才能算"硬核"。现在, 科技 届公认的能改变世界的几项技术:量子计算、云计算、芯片、底层操作系统等,都是全球顶尖 科技 公司在啃的"硬菜"。

再说世界领先,得说实绩,不能靠"吹"。我们自己说了不完全算,要世界纪录认可的。

具体来说下阿里。自从诞生了阿里云之后,阿里"云"化的速度越来越快,而"云"化的底气,来源于几个:云计算,底层操作系统,芯片,量子计算。

我们挑2个说说。

大家开玩笑喜欢说"遇事不决,量子力学",但认真说,量子计算,能量超乎想象。2018年3月,谷歌发布研制全球首个高质量72比特量子计算机的计划后,就提出要实现"量子霸权"计划。

业界听了都笑了

2018年5月,达摩院的量子电路模拟器"太章"就出来打脸了。太章,率先成功模拟了81比特40层作为基准的谷歌随机量子电路,成为世界最强的量子电路模拟器。

再说一个,云计算。

云计算领域,早年都是亚马逊、谷歌的天下。开始的时候,中国人自己都不信,中国能做出自己的云计算,比如某度的那个谁,某腾的那个谁,都说云计算是"异想天开"。结果呢?阿里愣是不信邪,花了十年,作为公有云计算江湖的后起之秀,阿里云以全球前三、亚太第一的市场份额赶超一众老牌云厂商。现在估值都超过770亿美元了。

之前,在最新的斯坦福大学DAWNBench深度学习榜单中,阿里云打破纪录,勇夺四项世界第一。不久后,在安全性能权威评比中,又勇夺"全球第二安全的云",让亚马逊目瞪口呆,这样够"硬核"吗?

说到硬核技术,必须要提的当然是芯片啊!

最近华为、中芯国际、光刻机频繁上热搜,芯片的事情闹得沸沸扬扬的,大家都知道了芯片的重要性!但我觉得阿里最硬核的技术,芯片必须排在首位。

阿里旗下有个公司叫平头哥,专门搞芯片的。它才成立两年,旗下第一款芯片—含光800在业界标准的resnet-50测试中,推理性能达到了78563IPS,能效500IPS/W,这两项能力都是全球第一,而且远超第二名数倍,着实给中国自研芯片争了口气!

不久前,含光800还宣布已经实现量产,我相信中国芯片自主的那一天不会太远的。

之前,斯坦福大学最新公布的DAWNBench深度学习榜单中,阿里巴巴旗下的阿里云在训练时间、训练成本、推理延迟以及推理成本拿下四项第一,打破了谷歌等企业垄断榜首的神话,这也意味着,阿里云可提供全球最快的AI计算服务。

这种理论的东西,可能大家没什么兴趣,我也一样。我个人最感兴趣的是:阿里通过AI技术,跟物联网IOT联系起来,为智能家居提供了更多的新可能。

之前,阿里云搞过一个给空巢老人的技术,真是暖心:借助阿云智能人居平台,为空巢老人量身打造了远程看护方案,不仅接入多种物联网设备,还专门定制开发了一个手机APP,所有家人都可以使用。借助物网传感器,家人可以时刻记录老人在家里的所有行为,对异样的行为进行预警。

其实,阿里的硬核技术,只是中国这些年 科技 崛起的一个缩影。作为中国 科技 公司的代表,阿里技术有今天的成就,也离不开大环境的进步和对 科技 基础设施的重视。

阿里巴巴作为中国最大的互联网公司。 在海量数据处理、高并发、云计算等方面积累了非常多的技术。程序员应该都非常清楚阿里的技术实力 着名开源项目Dubbo、RocketMq、Fastjson、Druid、Weex、等都是阿里开源的 。这些项目在全世界各种Java、前端等项目中都有使用。除去这些上层应用方面的技术之外,阿里还有哪些在国际上领先的技术呢?


深度学习技术DAWNBench

DAWNBench是深度学习技术的一个框架。用于端到端深度学习训练和推理的基准套件,它提供了一组常见的深度学习工作负载,用于在不同的优化策略、模型架构、软件框架、云和硬件上量化训练时间、训练成本、推理延迟和推理成本。此前这项技术一直是谷歌和亚马逊保持领先的记录。而在最新一轮的比赛中,阿里云团队在训练时间、训练成本、推理延迟以及推理成本四项中均取到了世界第一的名次。打破了谷歌多年的记录。




数据库OceanBase

在数据库领域,一直是甲骨文的Oracle在全球垄断。在阿里的OceanBase没有出现之前,世界上没有可以与Oracle可以抗衡的数据库。不管是企业级还是个人软件项目开发,我们都会第一选择使用Oracle(当然还有Mysql,Mysql也是甲骨文的数据库)。甲骨文公司几乎垄断了整个数据库领域。但是阿里巴巴每年的双十一对于数据库的吞吐能力提出了更高的挑战,阿里投入研发的OceanBase就是为了满足这种高吞吐场景需求的。经过国际TPC-C基准测试,OceanBase的TPS达到了100万(每秒处理事务数,可理解为订单数),比Oracle真正高了一倍。



云服务阿里云


阿里云大家应该不陌生。从全世界市场占有额来看,阿里云目前国内市场占有额第一,全球市场占有额第三。在全球市场占有额中,仅此于亚马逊和微软。而相比全球市场,亚太市场增长更快,云计算市场规模同比增长达50%。


在大众眼里,提起阿里巴巴就想起淘宝,天猫,支付宝。实际上阿里巴巴经过这些年的已然发展成为国际一流的技术公司, 在量子计算机,云计算,人工智能,芯片研发等硬核技术已经取得了世界领先的成就。

量子计算机技术

理论上,量子计算机可以模拟出整个宇宙,不仅仅是原理的模拟,而是整个宏观体系和微观细节的模拟。比如,宇宙中的尘埃——地球上,每个生物身上的每个细胞,都可以被模拟出来。 目前,世界范围内已有两家公司,在这方面已有突破性进展,那就是谷歌和阿里。目前,阿里云在超导量子计算方向,发布11比特的云接入超导量子计算服务。该服务已在量子计算云平台上线,有兴趣可以注册个账号体验下。

人工智能技术

斯坦福大学最新公布的DAWNBench深度学习榜单中, 阿里巴巴旗下的阿里云在训练时间、训练成本、推理延迟以及推理成本拿下四项第一,打破了谷歌等企业垄断榜首的神话,这也意味着,阿里云可提供全球最快的AI计算服务。 这些都属于人工智能最前沿,最顶尖的技术,阿里不仅立足当下,而且将眼光放眼未来,布局即将到来的人工智能时代。

阿里芯片技术

阿里的芯片技术已经名列世界前茅。 旗下第一款芯片—含光800在业界标准的resnet-50测试中,推理性能达到了78563IPS,能效500IPS/W,这两项能力都是全球第一,而且远超第二名数倍。 我们平时经常使用的淘宝“拍立淘”功能,使用含光800,搜索效率可以提升12倍,每天新增图片10亿张,之前的GPU完成搜索任务要1小时,现在只要5分钟。

结语

阿里这些硬核技术,只是本人了解到的,阿里技术团队一向做事低调如扫地僧。应该还有其他不为大众所知的硬核技术,只是本人不了解而已,你如果知道,请在评论区赐教,不胜感激!

谈到阿里的硬核技术,很多人第一印象肯定是想到了云计算,基于云端数据处理和存储技术,阿里在这方面的成就在世界范围内都是数一数二的,但这是老生常谈,我们暂且不说,今天来说说其他方面,阿里的表现同样强悍。

一、云操作系统

云操作系统指的就是阿里的飞天系统,是由阿里云自主研发、服务全球的超大规模通用计算操作系统,诞生于2009年,如今经过十年发展,早已今非昔比。飞天分布式系统,如今已经累计服务了200多个国家和地区,让许多大企业减小了对于硬件的依赖,减少了支出。2017年双11,飞天更是创下世界记录,实现了每秒32.5万笔交易峰值,每秒25.6万笔支付峰值。强悍如斯,让人震撼。

二、阿里物联网平台

阿里自研的物联网平台,同样让人惊艳。2014年,阿里云自主研发了一站式物联网使能台阿里云Link,之后,又相继推出物联网操作系统、物联网云平台、边缘计算引擎、一站式开发平台等。基于以上平台和系统,阿里在智能化、云端化、云计算展现出惊人优势,为我们日常的智能生活、智能城市、智能制造,提供了技术和平台支持,为经济发展提供了极大的便利。

三、AI芯片含光800

阿里巴巴达摩院研发的AI芯片“含光800”,同样让人震撼,这款芯片是阿里巴巴第一款自主研发的芯片,它被认为是全球最厉害的智能AI芯片,数据显示,含光800在芯片测试标准平台Resnet 50上的具体分数是性能78563 IPS,是第二名(15012)的5倍;能效比500 IPS/W,是第二名(150)3.3倍。这款芯片如今已经商用,并在全世界范围内接受了不少订单。

阿里其他方面的技术还有很多,譬如“神龙”服务框架、端操作系统等等,但阿里最厉害的还是我们经常说的云计算,基于这方面的投入也是最大,未来三年,阿里将投入2000亿,继续加大对于云计算的研发,相信在未来,我们的智能生活体验中,必定离不开阿里的身影。

如果说阿里云是世界领先的话,可能有些人感受并不深。那就简单说一下一个利用阿里云落地的身边应用——城市大脑。

发明云计算最大的作用,可能就是能在这个时代“磅礴浩瀚”的数据量面前处变不惊,这也使得一些以前不敢做甚至于不敢想的东西顺利落地。从城市大脑来讲,能将整个城市的方方面面映射到一个整体系统上,这是不是和你以前看过的科幻片高度重合起来?阿里云的诞生使得各类复杂的数据都能够得到迅速响应、快速计算和实时处理,这也就让我们等待红灯的时间灵活调整,出行时间大大缩减,停车难、排队难、看病难等城市病也都得到了有效解决,这也是为什么世界上很多城市跑来借鉴的原因所在吧!

看了一些回答,有些小寒心,难道技术非要等到打上西方封禁的标签才能够得到证明吗?不可否认每个时代都有独特的事物在独领风骚,而当前以及未来都应该与数字时代脱不开联系,这也就是为何云计算崛起后持续受到各个行业关注的原因。

当然,阿里云当年不顾一切搞自主研发,虽然耗费了大量的人力物力时间,但是如今回头来看无疑是幸运的,有了核心技术也就无需担心他人的掣肘,这也是如今阿里云世界领先的原因。而有了阿里云为支撑,例如城市大脑、数据库的OceanBase、平头哥的含光芯片都纷纷亮相。相比而言,甲骨文也已经撤出中国,亚马逊和微软也在一步步让出自己的市场份额。值得一提的是,阿里身后还有达摩院的一批顶尖科学家做支撑,因此可以想象在未来相当长的时间内,阿里的技术优势还是会不断保持。

互联网经济,也就是我们说的共享经济。其他技术也是依靠互联网的钱收购的。雷声很大的达摩院也没见到什么硬核成果。期待早点见到效果!

㈥ 阿里巴巴 用什么java框架

1、现在的大公司都是有很多积累的,他们都拥有适合自己的框架技术,这些全靠积累。所以阿里巴巴的主流Java框架是自己写的,同时结合了大量open source的资源。2、WEB层 —— 使用webx框架。主要利用velocity模板技术来展现页面。3、业务层 —— 主要使用command模式实现。WEB层通过command dispatcher的调用来使用业务逻辑。4、数据访问层 —— 使用DAO(Data Access Object)模式。底层使用iBatis来访问数据库。数据采用的是Oracle。数据库操作的SQL语句需要你手工书写相关的SQL代码(对于复杂的SQL语句需要通过DBA的评审)。5、开发工具,采用IDE和命令行相结合的模式。在命令行上,我们用antx工具来组织项目、build项目、发布项目。但我们多数时间会在eclipse集成环境上,开发、调试应用。6、版本控制,采用了Subversion。但部分项目因为历史的原因,暂时使用CVS,将来必然会迁移到Subversion上。Subversion有很多种操作方式:通过命令行、通过TortoiseSVN集成工具、通过WEB、通过Eclipse插件。总结:在所有层次上,他们都广泛使用了Spring framework。因此您需要对Spring有一定的了解才行。阿里面试时非常考验基础知识的,因为他们有自己的技术积累,框架技术已经趋于成熟,所以面试都是一些基础知识与算法知识。现在的阿里技术或许已经更加成熟,

㈦ OceanBase那么厉害,为什么不去和Oracle竞争,抢占企业市场的市场份额

因为干不过 吹出来的 给不懂的人看而已 1500多个节点的分布式架构和人家10年前27节点rac比!别忘了你用的ssd 人家还是机械盘!

阿里巴巴旗下的数据库OceanBase屡屡在国际上获得数据库竞赛大奖,不少人就要问了,既然OceanBase这么厉害,为什么阿里巴巴不去抢占Oracle的市场份额呢?

OceanBase竞赛结果有片面性、功能还不够完善

事实上在阿里系内部,也只有蚂蚁金服是真正在大规模使用,在阿里系内部其他团队已经有三大数据库,X-DB是阿里集团数据库团队搞的,PolarDB是阿里云团队、也就是李飞飞博士负责的,OceanBase是蚂蚁金服数据库团队搞的,现在阿里内部已经推进了X-DB和PolarDB的全面融合,李飞飞博士领导的PolarDB团队将会立足长远,是下一代数据库系统,未来阿里云的业务有多广,PolarDB要面对的业务场景就有多复杂。

OceanBase最大的优势在于这是阿里真正完全自研的数据库,跟阿里云一样,是从头到尾完全自研的,当然这个完全自研到底到底有没有水分我们并不知道。大家了解OceanBase就是之前的打比赛,不过OceanBase占了分布式的光,吃了硬件的便宜,加上最近十年Oracle已经不来打比赛了,阿里本质上是跟十年前的Oracle在比,软硬件技术都不在同一个起点上,这也是这个竞赛结果有很大片面性的根本原因。在单机性能方面,Oracle依然要更强一些,稳定性就更不用说了,Oracle已经稳定运行了这么多年。


OceanBase之所以还没办法跟Oracle竞争,是因为OceanBase还没有那么强,也还有非常多需要完善的地方,功能上还有很多不足,在阿里内部数据库分化也还比较明显,OceanBase在跟另外的产品竞争当也,没有优势。

OceanBase“专属性”明显、开源后闭源,企业要稳定、企业也不都是阿里

OceanBase更多的还是围绕蚂蚁金服自己的业务在做,现在除了阿里系内部在使用,真正的商业化用户也就只有PICC、南京银行两个比较大,是在真正使用OceanBase,客户群体还太小太小,样本数量确实还不够大。

OceanBase之前其实是开源了的,不过后来又闭源了,在商业化过程中也遇到了一些问题,这个操作当时其实就吓到了很多人,OceanBase闭源之后的版本跟原来的差距非常大的。OceanBase更适合处理互联网业务,跟传统企业业务契合度并没有那么高,Oracle的很多功能OceanBase都还不具备,OceanBase的生态、工具、技术支持还差很多很多。oceanbase是为大规模事务处理准备的分布式系统,听起来很强大,但是真的不够接地气。


OceanBase针对阿里的业务进行了深度优化和定制,这就让OceanBase在通用性上有了很大的阻碍。可是在其他企业就很难的,阿里有很好的技术团队,他们也可以为了业务做出专门的调整,阿里有这样的能力和资源,但是小企业没有这样的配置,尤其是传统企业根本不可能做这样的事情。大家更希望系统是稳定好用的,拿过来就可以直接用的,你现在又不开源了,用户担心更大,还不如继续用稳定的Oracle数据库。

技术这东西吧我还是喜欢说句实话,不是你自己说你有多厉害就真的多厉害,还得是实际场景的应用才行。就像网络一样,好像这些年大家也不吹网络了,但是春晚一战,网络成为唯一一个扛住了春晚流量洪峰的企业,技术实力业内人都看得明白。OceanBase做得很好,但是也没有那么好,至少是目前应用还没有那么好。

早就在竞争了!

实际上阿里云的OceanBase数据库系统在推出以后,实际上就已经开始商业化运作了,就在不断的从甲骨文公司手里面抢到更多的企业级应用市场了。

OceanBase确实很先进

近日,在数据库领域内,OceanBase数据库又打破了世界记录,直接创造了7.07亿TPMC的新世界记录。

从OceanBase的功能和速度来看,现在OceanBase是世界领先的数据库产品,在被誉为“数据库领域世界杯”的国际权威TPC-C测试中,OceanBase性能分数打破Oracle多年垄断,不断创造新的世界记录。

而且OceanBase采用新一代分布式处理技术,颠覆了传统数据库集中式技术架构,尤其适应了互联网持续扩张的数据处理需求。

正是OceanBase数据库的可扩容的特点,也降低了用户的使用成本,而且又拥有很高的速度,因此,现在OceanBase在企业市场中的份额是越来越大了。

现在阿里云市场份额很大

阿里云市场份额不断扩大。根据国际研究机构Gartner发布最新云计算市场追踪数据,阿里云亚太市场排名第一,全球市场排名第三。在全球市场份额中,阿里云仅次于美国的亚马逊和微软公司。

阿里云从2018年到2019年,在全球市场份额从7.7%上涨至9.1%,进一步拉开与第四名谷歌差距,挤占了不少亚马逊的份额。而在亚太市场,阿里云的份额更大,从2018年的26%上涨至2019年的28%,接近亚马逊和微软公司的总和。

现在阿里云的服务其中一项最重要的就是数据库的服务,也就是OceanBase数据库的服务。

实际上,从2015年,OceanBase数据库推出以后,淘宝和支付宝系统就开始了去IOE,开始上云,然后好多银行的金融服务也开始去IOE,上云。这些实际上都是开始抛弃甲骨文数据库系统了。到现在为止,通过上云使用OceanBase数据库数据库的企业和公司就更多了。

结论

综上所述,OceanBase数据库早就在跟甲骨文公司进行竞争了,现在阿里云的份额在全球排在第三名,阿里云其中最关键的应用就是OceanBase数据库的应用了。

OceanBase其对标的是亚马逊的Aurora,你要目前去和Oracle竞争,这个目前还不对等。



OceanBase满打满算10年的时间,Oracle呢,40多年了。目前大的企业,像银行、电信这些核心企业,基本上是Oracle的天下,也有Sybase、DB2、SQLServer。其实还是那几个巨头在玩,甲骨文、微软、IBM、SAP,这些可都是企业服务领域的巨头。


听到DB2(IBM)是不是有人觉得老土了,但是现实就是还有很多系统在用,为什么呢?因为有些系统要切换数据库,估计要出大问题。


互联网公司反而在这方面投入不高,那就用像MySQL这种开源的,最先MySQL被SUN公司收购了,现在SUN又被Oracle收购了,所以还是Oracle旗下的。



Oracle之所以这么强势,就是因为其产品的稳定性,尤其是金融类机构,一点数据问题都不能出,否则你银行里只有100块,花出去了101块,这个问题就大了。你可以想下,几十年,遍布全球的金融类机构,大部分只敢用Oracle,就是因为产品稳定。而且这么长时间的技术积累,问题解决经验,这个真的不是说自研就解决的。


伴随着云服务的大趋势,几个主要的云服务提供商,亚马逊、阿里、腾讯都在发力数据库,像淘宝、微信这种大的国内应用,本身必然会要求其数据库团队越来越强大。


OceanBase其实也在慢慢的搬运Oracle的客户,但是这个急不得。其实在市场定位上,国内的大量互联网公司并没有使用Oracle,因为太贵了。所以这部分客户才是OceanBase的主要目标。



Oracle代表的是云服务以前的顶峰,而且目前看想替换不是几年的事情。新的OceanBase伴随着云服务的扩展,必然一步步的能取得更多的市场份额。阿里云发展必然能带动OceanBase的快速发展。


慢慢来吧,数据要的是稳定。

第一,oceanbase是否比Oracle强并不能完全肯定,Oracle这么多年的发展形成了完整的生态,让大多数人熟悉了他那一套,oceanbase应该说在一些场景下比Oracle强,尤其分布式方面,因为他这方面在自身业务驱动下更加突出。

第二,Oracle的客户基本上是规模型企业,且一般用于核心业务系统上,切换成本很大,风险很大,做这样的决策是非常困难的。

第三,人才培养没有那么快,切换oceanbase没有多少人会,培训学习和运营管理都需要时间

第四,阿里发展重心不是这种产品销售模式,Oracle这种模式需要大量的营销团队和服务支持团队

第五,阿里时机还未到,先通过云服务不断发展客户完善产品,后期根据自身的发展策略可能会决定面向客户销售

银行 金融 政府等行业是不会去尝试新技术的 他们要的是稳定 可靠 打个比方 银行每天流水 1个亿 用新系统 花钱了 而且出了问题 损失了 谁负责?!花钱不讨好!银行也不差那点软件版权费!

应用场景差别很大,分布式系统维护成本很高。这和外国宁愿买二手F16,也不愿意采购歼10一样,更何况,OB确实还不如Oracle。

但是现阶段贸易战,已经消除了Oracle的空间,正是OB等系统的机会

如你所愿。

oceanbase最近独立运营了,开始发力推广。先把TPC-C基准测试排名达到世界第一。(第二也是自己,这次是二刷)

然后最近刚刚开源。把300万核心代码都开源出来。大家可到github上查看。

金融领域继续发力。和合作伙伴一起做去O。尽量能兼容Oracle,让客户无损切换到oceanbase上来。

相信不远的将来,中国企业都能用上国产高性能数据库。

㈧ 阿里云rds数据库是自主研发的吗

一般rds习惯性指mysql数据库实例,但其实也包含sqlserver。这两种数据库一个是开源的,一个是微软的,都不算是阿里研发的数据库。
华为云 rds-gaussdb系列都是自主研发的。