6 月 7 日,华为全球智慧金融峰会 2023 在上海顺利举行,华为云数据库服务产品部总经理苏光牛带来了《华为云分布式数据库 gaussdb,做金融数字化的坚实数据底座》的主题分享,为大家介绍了华为云 gaussdb 的商业进展和技术创新能力。
以下是演讲实录:
尊敬的各位领导、各位来宾,大家下午好!非常感谢大家莅临本次峰会,今天,我主要给大家分享下 gaussdb 的商业进展以及产品能力升级方面的最新情况。
1、华为云 gaussdb 正在从金融覆盖到更多行业
从 2019 年开始,我们在华为内部通过持续的锤炼,推出了融合多项技术的自主创新的 gaussdb 数据库,而且陆续完成了华为公司内部核心系统的替代,这里面包括三个方面。
第一个是我们在终端云上实现了 6pb 数据的全面替代和上线,分布式节点有 6 千个节点的规模,资源利用率提升了 30%。
第二个是在 erp 的替换中,我们替换了 600 多套的业务库,经历了十倍流量的突发流量考验,业务效率得到了 10 倍的提升,实现了零故障、零时延和零调账。这里简单给大家普及一下,华为公司的订单系统的特点,每到一个月的月末,每到一个季度的结束以及每年结束的时候,它的流量是平时流量 5-10 倍。所以华为公司在 erp 上线的时候,我们是经历了 20 倍流量的测试和压测才能上线。
第三个就是我们的运营商设备,累计发货也有 30 多万套。
从我们的收入结构也可以发现,gaussdb 从最初的金融行业已经覆盖到更多的关基行业,非金融的占比提升了一倍,越来越多的客户选择 gaussdb 作为其数字化转型的伙伴。
2.在丰富的实践场景中打磨成熟
我们知道,数据库是一个全场景的软件,所以场景实际上是数据库的磨刀石。下面,我将进一步解读刚才讲的这几个业务和后面要讲的金融业务对数据库的磨炼是极其重要的。
华为的 metaerp 系统,是一个典型的重度的使用传统商业数据库的场景,也是制造业里面非常典型的一个应用的代表,在华为公司,erp 是我们的生产系统,它支撑了华为每年数千亿订单,170 多个国家的订单发货。从华为自身业务连续性的视角看,华为的 erp 替换,相当于长征途中的强渡大渡河。作为全球数据库应用场景最复杂的 erp 系统之一,华为的 metaerp 面临几个挑战:第一个就是有近 7 亿行的 sql 脚本需要改造;第二个我刚也提到了,业务高峰期业务流量可能达到 5-10 倍,在实际上线前,我们做了 20 倍流量的压测;第三个就是大表的改造,有最大 160 亿行大表,超过 100 亿行的表就有十几个,这些大表的迁移都非常具有挑战性。那如何解决呢?
第一个,对于 sql 脚本的替换,我们的 ugo 工具实现了近 100%的自动化结构迁移。今天,我们去替换数据库,如果还投入几十个人去改造一个应用实现替换的话,是不可以维系的。第二个,就是数据迁移,我们是在 35 个小时内,实现了 3200 亿行数据的迁移。也就是说,今天大家已经不用担心数据迁移的一致性和完备性问题了。
另外,我们通过智能代价估计、高效索引并发控制等算法顺利地通过了业务历史最大峰值 20 倍流量的压测。
这里也给大家讲一个小故事,在 erp 切换成功后,华为成都的一个操作人员,第一次运行资产核算任务,只用了 3 分钟。但是之前这个操作人员的历史经验都需要 2 个多小时。所以他认为这次可能是运行失败了,按照操作的规范立即预警。经过实际确认,结果是准确的,是一个“美丽的误会”。
而华为终端云服务,这个代表着新兴的一类生于云、长于云的云原生企业的典型应用,它的主要挑战是什么呢?首先是成本问题,如何提升资源利用率,特别是在海量的数据和分布式的情况下,大量的部署节点带来的成本问题以及传统的机房转换到云上的成本挑战;其次是海量业务带来的大量的分布式的诉求,需要有非常强的扩展性,和弹性伸缩能力;最后是数据多样化,因为其中既有关系型数据,也有非关系型数据。
gaussdb 原生的分布式架构,使负载更加均衡,已经上线的最大单集群节点数超过了 200 个,并且支持多种生态,实现了资源利用率和运营效率的大幅度提升。
还有就是对数据库要求最高的金融核心系统,几乎所有的金融 cio 或 cto 都知道迁移并不好做,金融行业大量的应用都重度依赖传统数据库的接口,存在大量的不确定性,客户都希望有一套可量化的、逐步推进执行的方案。
从芯片、服务器、存储、网络到数据库、操作系统,gaussdb 是当前国内唯一能够做到软硬协同、全栈自主创新的国产品牌,高度兼容传统数据库的语法,有一站式的数据加应用平滑迁移方案,使得迁移变得更简单。同时基于多数派协议的原生分布式架构,更大幅提升了系统的可用性。
3.面向更深入、更广泛的场景,我们思考如何更好地满足客户诉求
随着 gaussdb 的成熟,未来 gaussdb 将向两个方向发展。第一是做深做透金融行业,一次性解决金融客户数字化转型和可持续发展的双重诉求;第二是从金融走向政务、能源、交通等更多关键信息基础设施行业,这也是我们一个新的使命。
在做深做透金融上,我们发现客户以前只关注接口的适配性,现在开始逐步重视替换后应用的可用性、稳定性。大家都知道,主机的可靠性大部分来自硬件,而没有了这种专用硬件的加持,如何通过软硬件协同保障大机整体可用性指标就非常重要了。金融核心业务不同于互联网追求性能峰值的极限,更需要的是一个确定的不抖动的性能,让每一笔交易的时延都可控。最后,在客户从几个应用替换到几百个应用替换的落地过程中,如何把迁移做成可量化的实施过程,是摆在每个金融 cio 眼前最大的挑战。
近些年,关基行业的数据规模也越来越大,由于科技力量薄弱,技术人员投入相对较少,就需要数据库简单易用,最好能直接复用在金融行业已经实践成熟的技术来降低总体拥有成本,实现快速推进。
4.gaussdb 始终以安全可信、高质量为首要目标
为了满足更多场景的客户诉求,今天我们发布了新一代的分布式数据库 gaussdb,具备五高两易的全面能力。下来我就其中的一些关键的新能力跟大家做一下解读和分享。
在讲具体的产品能力升级变化之前,我想先给大家分享下 gaussdb 没变的东西,那就是我们对安全可信、高质量的追求。
从产品定义、代码实现、开源治理到运营运维等各个环节,gaussdb 基于华为软件工程全栈可信框架,实现了从结果可信到过程可信,做到了包括开发 gaussdb 软件的整个工具链在内的真正的自主创新。
同时,我们构建起了一个 9 层的测试防护网,通过全链路的深度交互测试平台减少低概率、复杂交互类的问题,当前已有 20 万测试用例消减了大部分基本问题,今年我们还会继续增加到 80 万,还构建了 10 多个金融客户场景化的防护网,消减了金融场景化的问题,实现真正的高质量。
5.聚焦客户业务痛点,gaussdb 产品关键能力全新升级
在产品能力升级上,我想大家最关心的还是可用性。我们的 gaussdb 新版本支持了 paxos 一致性协议,更好地提升了 rto,高负载业务下 dn 故障倒换可以稳定在 10 秒以内;去年我们跟工商银行联创推出了国内首个双集群强一致的方案,实现了集群级故障完全隔离 rpo=0,双 az 双活;今年我们又进一步支持了双集群的逻辑复制,以及全新的应用无损透明切换方案,做到应用大版本升级完全不停机,主备倒换应用微感知,真正实现大机业务 7*24 小时不间断。
在性能上,gaussdb 存储引擎可以实现业务长时间频繁更新下依然保持系统高性能,同时不抖动。这得益于 gaussdb 和招行的联创,我们重构了底层的整个存储引擎,采用的是原地更新的模式,它和常见的基于不断追加的这种引擎最大的区别是,传统的模式在底层垃圾的回收和内存做数据化的时候会有非常大的抖动。经过实测,我们在大压力的情况下,性能的抖动依然可以控制在 3%,同时存储空间的利用率提升了 17%。
在智能化上,对 dba 来说,最头疼的就是在系统出现亚健康状态的时候,如何能够快速感知到问题,及时地进行识别和分析,方便进一步操作。作为国内首个 ai-native 数据库,gaussdb 提供从应用开发到运维阶段全流程的数据库智能化体验,有全新的 sql audit 工具,在开发验证阶段就完成 sql 自动审核,减少亚健康出现的情况,一旦出现亚健康状态,gaussdb 可以快速感知到问题,识别出实时慢 sql,并进一步通过慢 sql 的耗时点分析,自动诊断出是否处于被阻塞状态,以便运维人员进行判断查杀。在一些严重过载的情况下,我们还有过载熔断能力可以自动 kill 过载会话,避免因个别慢 sql 拖住整个系统。还有 dbmind 的慢 sql 根因分析、索引推荐、异常检测等多种运维功能也让 dba 更加得心应手。
除了上面讲的这些硬核技术外,对于客户关注的性价比、平滑迁移,gaussdb 的新版本也做了大量的工作。首先是海量数据带来的存储资源压力。压缩是一个办法,但简单的高压缩比并不是我们追求的目标,我们更关注的是如何让业务尽量无感地使用压缩,并且性能不会有大幅降低,最好控制在 5%,甚至更低的性能影响,这才是真正有用的压缩。我们既能够降低资源的使用,对应用的侵入性更小。
其次,新版本还将支持内核多租户的能力,帮助用户可以快速在不同的租户资源上进行迁移,让应用使用更加灵活,资源利用率更高。
最后,gaussdb 有一站式的迁移解决方案,让原本不确定的迁移工作变成一个确定性的事情。第一个就是我们的 ugo,可以对现有系统的所有应用进行扫描和评估,告诉我们哪些能够兼容,哪些不能兼容,以及如何进行改造,现在我们已经做到 95%的自动化。第二个就是 drs,可以实现在线零中断迁移,并且通过数据比对保证数据零丢失。第三个是流量回放,和 ugo 配合,可以真实地抓取源数据库上的流量,在新数据库上进行回放,避免大家现在普遍遇到的覆盖不全的问题。我认为,只有通过上述工程化可落地的方案,才能真正地实现国产数据库的规模替换。
数据库的发展,除了产品的创新,更离不开产学研用的通力合作。金融客户是数据库的重要出发点和落脚点,为 gaussdb 的发展起到了关键的作用。我们希望更多的金融客户能够开放自己更多的典型业务场景,基于分布式架构,来设计自己的多地多中心方案,形成最佳实践,加速推进行业数字化转型。我的分享就到这里,再次感谢在座的各位,谢谢大家!
标准化电池为什么不适用电动汽车行业
晶振的负载电容与外接电容的区别与关系
三星Galaxy Tab S6 5G曝光 搭载高通骁龙855并支持5G网络
VR动捕公司演示追踪技术,实现对数百个目标的实时准确追踪
什么是汽车的网络通信系统
苏光牛:坚持产品能力的升级,做金融数字化的坚实数据底座
华为盘古大模型四个类别和五大优点
网络分层模式原理分析 为什么要进行网络层次划分?
苹果13和13pro一起上市吗
芯来科技亮相中国集成电路设计业2021年会
6G可能会在十年后到来!欧洲推出6G研究计划
董昕:5G与AI的融合将引发链式变革,加速万物互联
芯片“热”了!“芯片热”引发的变局和思考
欧姆龙继电器—能源行业的应用和推荐(二)
《魔兽世界》玩家遭泼冷水 官方称VR版暂时无计划
博通公司宣布推出EPON和GPON系列设备,为家庭用户提供无以伦比的宽带连接体验
华灿光电计划动用募资,向关联方购置生产设备
华为SmartCare和AUTIN助运营商走出5G发展迷宫
FP5207 DC-DC 电源升压模块/12V升24V(5A) 升压板/升压电路/直流稳压/直流升压
全球首个太空机器人将入太空,与宇航员共同完成太空任务