<< 返回文章列表

开源自研新基建,内核实践云数据,当此方为嘉年华 - 2020嘉年华大会侧记

2020年11月26日
eygle
12

当时代开始召唤,当号角已然吹响,当变革迫在眉睫,当英雄辈出登场,如此方为嘉年华,不负韶华我辈往!

两天精彩的 2020数据库技术嘉年华 已然胜利闭幕,然而回想起争鸣的技术,激昂的产品,心潮依然澎湃不息,这是数据从业者最好的时代,这是厚积薄发时代给予我们的馈赠!
image.png

现场一位记者采访我时问到:如何在变革中看清未来,把握先机?
我凑了两句古诗以回应:春江水暖鸭先知,不需扬鞭自奋蹄!与其原地迷茫,不如躬身入局,只要在时代的浪潮中搏击,自然能够掌握洋流的方向。

十周年感怀

今年是数据技术嘉年华大会的10周年,匆匆走过的10年,是见证数据库领域风起云涌、变革创新的10年。
嘉年华源自2011年的一次用户组大会,我是 ACOUG 的主席,当时一批 Oracle ACED希望到中国来交流分享,我们就组织了2天的会议,希望借此促成更多的技术爱好者和企业用户的交流互动。
缘之所起,一念之间。我们坚持了10年,嘉年华大会见证了国内数据库技术的发展历程。
image.png

回顾十年的历程,我的脑海里闪过这样的词语:
风云际会,跨越重洋,结朋识友,见证成长,快乐无价

我们希望搭建一个交流的舞台,让更多的朋友在这里找到家的感觉,结识朋友,找到志同道合的同路人,进而收获快乐和成长,愿洋溢的笑容常驻在每个人的脸庞,技术的道路欢乐长存。。。
image.png

十年,越来越多的国内数据库走上应用的舞台中央,参加今年大会有超过20个国产数据库品牌,当然,有将近50家投资方来到现场,这是所有人的机遇时代。
image.png

感谢所有人的支持。。。

重复去年的几句话:
我们相信,赠人玫瑰,手留余香,所以我们坚持不懈;
我们秉持,但问耕耘,莫问收获,依据本心纵情向前;
我们始终,心怀感恩,砥砺前行,感恩讲者感恩嘉宾!

2020 虽不平凡,虽多磨难,但是,没有退路,前方就是胜利之路!

阿里云数据库的巅峰之路

大会首个主旨演讲来自 阿里云智能数据库产品事业部负责人、达摩院数据库与存储实验室负责人、ACM杰出科学家、阿里巴巴集团副总裁李飞飞博士。

飞刀首先分析了数据库领域的业界发展趋势,从商业数据库时代,到开源数据库,再到分析型和NoSQL,当今数据库的时代趋势是云原生、一体化分布式、多模 和 HTAP。而云计算大大加速了数据库系统演进,以云原生和分布式为基础,存算分离、算析一体正在改变数据库过去的架构体系,变革因此而生。
image.png

根据分析机构最新的统计数据,阿里云数据库的市场份额已经超越Oracle,位列亚洲第一、全球第三。而在中国公有云市场中,阿里云数据库份额已经达到了 50.7%,半壁江山已然在手。
PIC 3.jpg

从云原生数据库 PolarDB 再到分布式 PolarDB-X,以及AnalyticDB(ADB),阿里云正在将数据库的革命推进到,云原生数据仓库+云原生数据湖构建新一代数据存储、处理方案:
image.png

华为云的硬核数据库科技

大会第二位主旨分享嘉宾是华为云数据库业务总裁 苏光牛 先生,苏总的20多年的行业经验,曾经在数据库、IT基础设施(服务器,芯片等)、操作系统与虚拟化等领域全栈通关,这些硬核技术的结合,正是华为云为用户呈现出的战略优势。
image.png
苏总指出,数据库是软件皇冠上的明珠,专家密集型的行业,需软硬件全栈协同提升竞争力。而华为在人才储备上具备独一无二的优势,在从软件到硬件方面,具有全栈协同能力,这些能力为用户带来的价值回报同样独一无二。

在内核攻关方面,苏总以技术实现举例,在 SQL语句优化->SQL并行执行->算子下推 的实现路径上,华为是全球唯二的实现者,唯有硬核,始能担当。
image.png

苏总还指出,华为在2020年开源了 openGauss ,展示了开源、开放、共建生态的决心,在这一号召之下,包括云和恩墨等企业都加入期中,正在服务于千行万业。数据库呼唤开放的生态,华为正在以实际行动践行。
image.png

中兴GoldenDB实现金融的巅峰挑战

大会第三场主旨分享来自中兴通讯副总裁,GoldenDB产品总经理赵培先生,赵总坦言,中兴数据库一直非常低调,厚积薄发,十年磨一剑,最终实现国内传统银行核心交易国产化替代的巅峰挑战。
image.png

早在2014年,中兴通讯就和中信银行一起,展开了前瞻性的数据库研发,而且他们以高起点、攻难关为初心,立志在核心交易系统实现替代,中信银行在2019年9月实现了信用卡业务的核心数据库替换,在2020年5月,实现了交易核心的数据库替换,至此,中信银行最为核心的业务已经全部稳定运行在以 GoldenDB 为主的国产数据库平台上。
image.png

在技术实现上,GoldenDB做了很多改进和创新,甚至是专利技术。GoldenDB引入了全局事务管理器实现全局事务的隔离性,并协助实现全局事务的原子性。GoldenDB事务原子性是通过:一阶段提交 和 自动回滚补偿实现的,这是GoldenDB 的技术创新。GoldenDB通过一个全局事务,整体的提交是二阶段实现。其实现原理是,把全局事务拆成由若干个子系统单独提交的子事务,如果所有的DB都执行成功了,全局事务就结束了;遇到像转账失败的流程后,子事务在单机自动回滚,反馈给计算节点后,计算节点向数据节点下发回滚的消息。
image.png

智能的腾讯云数据库

大会的第四个主旨分享来自腾讯云数据库副总经理王义成先生,义成用非常具象化的示例,让我们每个人立刻感受到了腾讯云数据库的威力。在疫情期间,腾讯云会议系统,支持了100多个国家和地区的用户,日常办公的点点滴滴,科技的力量就是,随需而变,无往不利。
image.png

当然,如果您不曾用过腾讯会议,腾讯TDSQL数据库还支持了,王者荣耀平均每天8000W局,平均每分钟55555场的对战,互联网是所有技术快速发展的源动力。
image.png

生于互联网时代的 TDSQL ,就必然优先解决弹性扩展和分布式。TDSQL由决策调度集群/GTM,SQLEngine、数据存储层等组件组成,每个模块都基于分布式架构设计,可以实现快速扩展,通过这一架构,TDSQL 的 Noshard、Shard、TDSpark 实例可以混合部署在同一集群中。

此外TDSQL还有一个关键特性是强同步机制,它是TDSQL保证数据不会丢、不会错的关键,并且相比于MySQL的半同步复制,通过极致优化的TDSQL强同步复制的性能更是接近于异步。
image.png

王义成强调,近年来,腾讯云数据库正在加速走入企业客户,在张家港银行的核心金融交易上线,展现了分布式数据库的强大优势,近年在昆山银行的整体落地,彰显了腾讯云数据库服务企业的决心和信心,而源自互联网的智能内核、DBBrain等创新技术,是腾讯云数据库成功的关键。

行业新贵 PingCAP

大会第五位主旨分享来自 PingCAP 创始人、CTO 黄东旭 先生。PingCAP 洽于本周公布了新一轮 2.7亿美元的战略融资,创造了数据库行业融资的新纪录。让这家创业仅仅五年的数据库公司一举登上资本的峰顶。

东旭开场始于一个隐喻,他自称是一个会写代码的吉他手,出现在他朋友圈最多的不是技术内容,而是自弹自唱。那么数据库的未来应该是什么样子的呢?
image.png

从 Online 到 Offline ,其实中间的状态变得越来越模糊,从 OLTP 到 OLAP 过去这种泾渭分明式的分类方式到底适不适用现在有越来越多实时性要求的时代呢?找遍了各种各样的定义,从学术界、工业界、到各类咨询机构, HTAP 才是我们需要的未来,而 TiDB 正在创造这样一个未来。
image.png

展望未来,黄东旭提出:稳、快、好用和用着放心。在 TiDB 5.0 里面,真正把一个具体的目标放到了产品规划的方向里面,那就是 TiDB 要走向各行各业的核心场景。之前,TiDB 从 2.0 到 3.0 和 4.0,已经开始慢慢地走向了各行各业,慢慢地渗透到一些对稳定性、对性能要求非常极致的场景,包括金融、银行的一些核心业务系统。
image.png

扬帆启航新征程的 OceanBase

大会第六位主旨分享来自 北京奥星贝斯科技有限公司 CTO 阳振坤老师,阳老师是业界领袖、我辈楷模,他曾先后在北京大学获得数学学士和硕士以及计算机博士学位并留校,1993年破格晋升副教授,1997年破格晋升教授,1999年成为北京大学首批长江教授,获得荣誉包括国家科学技术进步奖一等奖(排名第四)、北京市科学技术进步奖一等奖、第六届中国青年科技奖、第一届中国科协求是杰出青年奖等。
image.png

阳老师近年来的主要研究领域为分布式系统及分布式数据库,2010年他在阿里巴巴发起了OceanBase分布式关系数据库的研发,现在OceanBase已经在蚂蚁集团的核心系统中全面取代了Oracle数据库,也在南京银行、西安银行等多家商业银行、政府和企业中使用,并在2019年和2020年两次通过国际联机事务处理TPC-C benchmark测试并登顶性能榜。

阳老师回顾十年的 OceanBase 研发历程,从解决蚂蚁自身应用,接管双11洪峰流量,到完成支付宝全部交易自主化,十年磨一剑,支付宝一行一行的代码研发,见证了自主、创新的自强不息创造之路。
image.png

两度征战 TPCC ,阳老师坦言,曾经在面对领导、政府的屡屡征询,国产数据库是否可行时,他下定决心,要用公开的标准来量度,用数字和事实来表达,行胜于言,阳老师带领团队,披荆斩棘,站到了数据库的巅峰。

走向市场,阳老师说,这一年服务的企业客户,超过了过去十年,OceanBase 在激动人心的新时代,一定能够发挥出更大的作用和影响力。以史为鉴,自主自强,每一句都展示了阳老师的拳拳报国之心,从北大方正解决汉字排版问题,到蚂蚁金服解决数据存储问题,这一代人的时代担当是我们每一个人学习的榜样。
image.png

建设数据库生态的云和恩墨

大会主旨演讲的最后一位嘉宾是来自云和恩墨的盖国强。作为嘉年华大会十年来的组织者、建设者,云和恩墨和技术社区,一直致力于为数据库领域构建顶级生态,通过打造开发者、用户和厂商之间的舞台和桥梁,云和恩墨也在不断完善自我的技术布局,加速成长。

在去年大会我选择的题目是 万象更新,今年则是用了四个字:金声玉振 作为主题,国产数据库从万象更新走向落地实践,正在发出如同洪钟大吕一般的金玉之声。十年之间,国产数据库走上历史舞台,并将回馈国际,推动全球数据库技术的发展。
image.png

回顾2020,云和恩墨和国产数据库生态持续深入合作,Bethune X 是首个支持 PolarDB 的监控产品;SQM SQL审核产品率先获得 OceanBase 的兼容性认证;云和恩墨首家获得 GaussDB 解决方案伙伴认证…而于个人,来自北京大学湖北校友会,共抗疫情的感谢信让我铭记在心,这一年我们面临了很多挑战,但是无人退缩,一往无前。
image.png

我希望在分享中阐述三个观点:数据库技术向何处去,用户应该如何选择数据库,DBA向何处去学习何种数据库?
1. 云原生和分布式成为重要趋势:回顾主场的六位嘉宾分享,国产数据库的两大趋势是云原生和分布式,这是重点的数据库发展趋势,值得所有人关注,分布式是因应用户需求,解决海量并发、洪峰流量,应运而生的技术,源自生产实践;而 Oracle 数据库作为最成熟的数据库产品,也同样走过了从单机、集群到分布式的整个历程,Oracle 数据库的技术演进始终值得我们学习研究和借鉴:
image.png
image.png

2. 选择最活跃的技术生态:用户在众多的数据库中如何选择?最活跃的技术生态,最广泛的从业群体,是用户应用实践的最终依赖。
在国内,有最广泛的 Oracle DBA群体,但是确有最广泛的 PostgreSQL 内核开发人员,因为从 Michael stonbraker 教授开始的 Ingres 项目拥有最广泛的技术影响力,众多数据库源自 PostgreSQL ,国内在这个方向的内核人员也是最丰富的。事实上,在 PostgreSQL 的源头,就有中国人的身影。在1980年,王佑曾博士就和 Michael stonbraker 教授一起创立了 Ingres 公司,并且在 1988 年因为在数据库领域方面的成就获得了 ACM软件系统奖。

我相信企业有国别,但是代码无国界。中国的数据库力量一定会在全世界发挥越来越重要的作用。
PIC 6.jpg

在 PostgreSQL 的技术方向上,华为开源了 openGauss 数据库,将多年研发积累的企业级内核开源出来,支持社区发展,并发展了包含云和恩墨等一系列的生态伙伴,共同推动企业级数据库的应用发展。openGauss做出的重要创新包括内核的线程化,支持超过1万的并发,通过64位XID支持,解决了 PostgreSQL 由来已久的事务号回卷问题,同时 openGauss 开源了包括行存、列存、内存引擎,以商业化的能力,进行开源化发展。
PIC 7.jpg

3. 躬身入局先入为主 :很多 DBA 在变革的时代迷惑迷茫,而我得观点是,与其原地迷茫,不如躬身入局,只有在浪涛中搏击,才能体味暗中的潮流,而面对变革先加入其中的,必然就能够在未来赢得先机,立于不败。
image.png

在面对这三个方向的问题中,云和恩墨也在身体力行,躬身入局,在做出自己的变革和贡献。
1. 云和恩墨发布 MogDB 数据库:基于华为的 openGauss 开源数据库,云和恩墨投入内核研发和工具产品研发力量,推出 openGauss 的商业版,致力于打造最易用的 openGauss 商业发行版,这是云和恩墨践行的躬身入局的数据库生态建设投入。
PIC 8.jpg

2. 打造数据库统一运维中台,推出 zCloud 平台:随着国产数据库的兴起,多样化的数据库将不断进入企业环境,面对新兴数据库从业人员不足的现状,云和恩墨认为应当先建立管理能力,再上线新的数据库品种,而这种趋势正需要自动化和智能化的支持。云和恩墨的 zCloud 正是结合多数据库统一管理,实现数据库管理的数据库中台,打造企业级 dbPaaS 平台。
PIC 9.jpg

3. 躬身入局进行技能切换:在变革的时代,每个个体都应该加速个人的技能切换,获得一种可扩展的学习能力,无疑是极为重要的。我个人一直践行的学习方法是由浅入深、由点及面。当遇到问题时,面向根因不断深入,钻研下去你就会获得体系化的知识扩展和提升。当我最近在分析 PostgreSQL 问题时,就经历了这样的学习深入过程。
image.png

最后,数据库行业的发展,需要全生态的共同努力,云和恩墨作为生态的参与方,愿与数据库行业共发展,共同走向下一个十年!
image.png

大会之上,我们还发布了国产数据库流行度排行榜,通过不断的优化提升,墨天轮排行榜正在发挥出其特殊的作用与价值,用户、投资方都在参考这个榜单,客观、公正、科学,是我们不断努力的方向!
image.png

鸣谢

再次感谢所有莅临本次大会的专家学者、合作伙伴、参会嘉宾,因为有您,十年不寂寞!