数字化时代,技术迭代更新比以往任何时候都要来得迅猛一些,数据库技术也在这股技术浪潮中迸发出巨大的发展张力,而作为数据库技术灵魂的内核技术也随之实现了跃迁式发展。
华为云数据库历来重视内核技术研发,拥有丰富的数据库内核研发经验,并持续构筑了一系列极具竞争力的内核特性。近期,华为云新一代金融级分布式数据库GaussDB(for openGauss)正式推出了Ustore存储引擎、基于Paxos协议的DCF高可用组件等多个重大内核新特性,为企业级用户打造了稳定高性能的存储引擎、高可用的内核能力,以创新技术为抓手,进一步推动企业数字化转型。
Ustore存储引擎创新,数据频繁更新下性能依旧稳如泰山
Ustore存储引擎,又名In-place Update存储引擎。In-place Update中文意思为原地更新,是GaussDB(for openGauss) 内核新增的一种存储模式。GaussDB(for openGauss) 内核当前使用的行引擎是Append Update(追加更新)模式。追加更新对于业务中的增、删以及HOT(Heap only tuple) Update(即同一页面内更新)有很好的表现,但对于跨数据页面的非HOT UPDATE场景,垃圾回收不够高效。
而Ustore引擎将最新版本的“有效数据”和历史版本的“垃圾数据”分离存储,最新版本的“有效数据”存储在数据页面上,并单独开辟一段UNDO空间,用于统一管理历史版本的“垃圾数据”,因此数据空间不会由于频繁更新而膨胀,垃圾回收效率更高。Ustore引擎采用NUMA-Aware的UNDO子系统设计,使得UNDO子系统可以在多核平台上有效扩展;同时采用多版本索引技术,解决索引清理问题,有效提升了存储空间的回收复用效率。
图1:Ustore数据存储示意图:数据在原page页,undo通过指针单独管理
总之,在这种设计思路下,相比原有垃圾数据清理机制,Ustore数据存储能带来更高性能、更高效率,空间利用更充分,整体系统运行更加平稳,适应更多业务场景和工作负载。
应用实践方面,Ustore存储引擎已在部分客户现场进行了POC测试,表现出稳定可靠的数据库服务能力,达到了预期的效果。
基于Paxos协议的高可用DCF组件创新,确保数据强一致和高可用
除了Ustore存储引擎外,GaussDB(for openGauss)还推出了基于Paxos协议的DCF高可用组件,该组件使得GaussDB(for openGauss)在保证数据一致性的同时,在高可用方面可进一步得到增强,包括:
(1)通过自仲裁、多数派选主能力摆脱第三方仲裁组件,极大缩短RTO时间,且可预防任何故障下的脑裂双主;
(2)支持节点同步、同异步混合部署的多集群部署模式;
(3)提升主备间节点日志复制效率,提升系统的最大吞吐能力。
图2:Paxos原理示意图
借助GaussDB(for openGauss)的DCF高可用组件,用户不仅可以免去系统脑裂的风险,还可以提升可用性。
面向未来,GaussDB(for openGauss)将基于AI自治技术,在Ustore存储引擎、Paxos协议自选主等关键特性方面持续构建更智能、更安全、更高效的技术能力,并从千行百业数据库应用的最紧迫问题和长远需求出发,不断在核心技术上进行突破,为客户打造更领先、更优质的数据库服务。
【重磅活动预告】
8月18日,以“数造未来”为主题的第12届中国数据库技术大会(即DTCC2021)将在北京隆重召开,现场特设华为云GaussDB专场,届时将为您解读GaussDB系列数据库及核心能力,分享GaussDB行业最佳实践。另外,GaussDB迁移工具新品UGO目前正在火热公测中,欢迎前往华为云官网免费体验。
好文章,需要你的鼓励
Meta宣布为Facebook Dating推出AI聊天机器人助手,帮助用户找到更匹配的对象。该AI可根据用户需求推荐特定类型的匹配者,并协助优化个人资料。同时推出Meet Cute功能,每周提供算法选择的"惊喜匹配"。尽管18-29岁用户匹配数同比增长10%,但相比Tinder的5000万日活用户仍有差距。AI功能已成为约会应用标配,Match Group等竞争对手也在大力投资AI技术。
字节跳动团队提出RewardDance框架,首次系统性解决视觉生成中的奖励模型扩展问题。该框架通过将奖励预测转为生成式任务,并将模型规模扩展至260亿参数,同时集成任务指令、参考样例和推理能力,有效解决了"奖励作弊"问题。实验显示,在文本生成图像任务中质量提升10.7分,视频生成性能改善49%,达到行业领先水平,为AI视觉创作提供了更强大可靠的技术基础。
Neo4j认为已找到让生成式AI访问图数据库记录的方法。图数据库专注于数据点之间的关系建模和查询,在欺诈检测、推荐引擎等场景中表现出色。2024年4月,ISO批准了图查询语言GQL标准,Neo4j的Cypher查询语言完全符合该标准。现代工具提供拖拽式工作流程,GenAI可作为自然语言接口,将用户请求转换为Cypher查询。
ByteDance团队开发的Mini-o3系统通过深度多轮推理突破了传统AI视觉理解的局限。该系统能像人类侦探般进行几十轮的视觉探索,在困难的视觉搜索任务上准确率达48%,相比现有模型提升显著。核心创新包括挑战性的Visual Probe数据集、多样化推理策略训练和突破性的过轮掩码技术,实现了测试时思考轮数的自然扩展。