<< 返回文章列表

刘宇:如何打造快、稳、易、专的多元数据库运行平台

2023年4月26日
,
,
z
D
a
t
a
X
,
,
黄舒琪
21
 

导语

4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展,释放数据要素价值”为主题,汇聚产学研各界精英到场交流。云和恩墨作为大会的协办方和重要合作伙伴,公司的数据库一体机产品总经理刘宇在「融合引领:云原生与新技术」专题论坛发表了题为《面向多样化数据库的数据底座--数据库存储2.0》的演讲。本文对刘宇的演讲内容进行了整理归纳,供大家学习参考。

DTC2023

多元、互联、新硬件

数据库存储2.0时代已经到来

纵观当前数据库领域发展趋势,不难发现当前数据库存储形式呈现的几个特点。从需求角度分析,随着互联网、人工智能等技术场景不断增多,数据类型、数据处理方式也在不断增多,这就导致一个数据库系统往往需要多个不同种类的数据库同时支持,多元数据库时代已然来临。另外,近几年我国越来越重视将信息安全、根技术把握在自己手中,相关政策大力推动着国内关基行业逐步开展IT系统信创改造项目,这也推动着我国本土数据库品牌的进一步创新发展。从墨天轮中国数据库流行度排行榜来看,收录的数据库产品已达260+之多,鸾翔凤集、百家争鸣,呈现出蓬勃发展的盛景。

从技术层面分析,据第三方统计,预计在2025年,每人每天与互联网设备交互次数可达4800次,每18秒就会产生一次,万物互联带来的是爆炸的数据量和对高并发低时延更高的要求。除此之外,新硬件成本下降,性能却能够倍增,现如今已经超过传统硬件数十倍、数百倍之多,硬件潜力有待深入挖掘。

多元”“互联”“新硬件”是数据库存储2.0时代的三个关键词,“对于用户来说,他们需要的是软硬一体化端到端的性能提升,去解决多元数据库承载管理和海量数据的处理问题。那么如何将软硬件完美结合,充分发挥它们的性能,带来1+1>2的效果,是我们这个时代面临的重大挑战。”刘宇说。因此,针对于数据库存储2.0时代的挑战,云和恩墨推出基于新一代数据库分布式存储 zStorage 的数据库运行一体化平台 zData X,从“快、稳、易、专”四个方面构建强大能力。接下来,刘宇对这四方面能力构建所面临的挑战和技术实现做了详解。

DTC2023

”是指怎样优化系统整机性能去满足万物互联时代的高并发压力,在这一方面有三个挑战点:

一、硬件。随着硬件性能相对过去有数十、数百倍的提升,软件的开销已经占到整个性能开销非常大的比重,因软件架构自身的限制,无法充分发挥硬件性能。

二、协议。传统的机械硬盘对于单一队列多核访问时,需要加锁,但引起的性能开销占比低,可以容忍。然而现如今闪存介质无机械操作,加锁成为性能瓶颈,无法充分发挥闪存性能,需要更优的协议来发挥硬件性能。

三、调度机制。传统的调度机制中软件的任务、线程、CPU核完全随机匹配,依赖操作系统保障,随机性高,无法保障关键任务的资源分配,且线程调度依赖操作系统,线程排队及线程唤醒会产生额外时延和上下文(如内存拷贝等)开销。除此之外为保证全局Cache操作的原子性,需要加锁,导致等锁开销,造成不可控的时延。

针对这三方面挑战,zData X 做了全新架构优化:采用NVMe SSD硬盘高速互联网络以及RDMA技术来提升效率、降低时延;使用NVMe-oF协议提升存取效率;在调度机制方面引入自适应锁核特性,任务、线程、CPU核能够自动绑定,专核专用,确保关键任务响应时延,减少线程上下文切换的开销;通过智能调度算法自动识别任务优先级,优先保障关键任务调度;引入自适应Cache锁特性,使得线程访问本地Cache,线程锁核避免对Cache锁的竞争。

相比传统架构,zData X 的新型架构能够充分发挥每颗芯片的算力,使得IOPS性能提升4倍、时延缩短50%、数据传输与存取性能提升60%。刘宇为观众分享了两组数据:zData X 当前性能能够达到2000万tpmC,且单个存储界面达到50万IOPS,仅0.3ms时延。

DTC2023

”是指如何保障关键业务、关键数据的可靠性及业务连续性,这对用户来说是一体机需具备的至关重要的能力。云和恩墨在 zData X 中实现了“三重高可靠”机制。首先通过实时校验、多点检测、后台巡检、自动修复等关键能力实现错误检测,并且将损害的数据快速修复,达成IO级高可靠;其次通过多副本一致性保证节点级甚至机柜的安全,实现部件级高可靠;最后,通过管理平台实现数据库高可用一键部署,达成解决方案级高可靠。多重可靠性保护机制全面保障了用户核心业务数据安全可靠、业务99.999%高可用。

DTC2023

在这个数据量爆炸的时代,“”主要体现在弹性扩展能力和兼容性,以满足用户当下和未来的灵活扩展需求。对于此,zData X 能做到从3节点到1024节点进行快速的弹性扩容,性能也随着容量节点的增加呈线性增长;在兼容性方面,能够兼容当前国内外主流数据库、操作系统和物理硬件,能够快速适应企业务软硬件发展需求。

DTC2023

”是针对数据库和数据库存储来说,指需要做专项的能力提升,去结合多元数据库发挥系统更大的价值。在这一方面,云和恩墨在 zData X 上做的不仅仅是软件与硬件的简单结合,而是做了数据库与存储的深度联动
第一、数据库快照能力保证了应用一致性。触发数据库脏数据下盘,存储再打快照,保证数据库文件一致性;同时存储一致性快照组,保证不同存储卷快照时间点一致性。
第二、结合数据库日志实现任意时间点恢复。通过快照与数据库日志结合,能够快速恢复不同时间点的数据,通过这种方式能够实现用尽量少的空间来实现尽量细的快照保护。
第三、通过识别日志IO以及数据页面IO,根据不同IO优先级去保证关键任务响应的时延。
zData X 还配备了一站式可视化管理平台,实现异构数据库、计算、网络、存储设备的全栈全生命周期管理,包含监控、告警、巡检、性能容量分析、高可用管理、自动化部署等运维功能,帮助DBA“简化运维”。通过管理平台,使得数据库的平均交付时间从原来的10余小时缩短到2小时以内,单问题诊断时间从小时级降到分钟级,以及高可用切换能够从10余小时压缩至分钟级。除此之外,其软件与硬件深度预装的一体化交付方式能够实现30分钟的开箱即用。

DTC2023

结语

云和恩墨在数据库领域深耕十余载,刘宇在演讲最后说道:“得益于在专业服务上的长期积累,云和恩墨具备两大优势:懂数据库懂基础设施。这体现在数据库研发上就是:第一有经验的沉淀第二有技术的积累第三有全栈方案。因此我们做的产品和解决方案能够更好地去贴合、满足客户的需求。”

如今,云和恩墨的数据库基础软件和生态软件都已形成规模,如关系型数据库 MogDB、数据库一体机 zData、数据库云管平台 zCloud,都已在各行各业落地,帮助用户更便捷、更高效地运行和管理数据库环境。云和恩墨将继续以“洞察用户需求,坚持持续创新”为核心思想,将更加安稳易用的产品带给用户,助力用户实现跨越式升级。