克日,KaiwuDB 与中国人民大学合作的论文 FOSS: A Self-Learned Doctor for Query Optimizer 被数据库领域顶会The 40th IEEE International Conference on Data Engineering (ICDE 2024) 任命。论文中提出了具备自学习、自诊断能力的盘问优化器 FOSS,推动了基于 AI 算法的学习型盘问优化手艺立异生长。KaiwuDB 高级研发工程师、人大信息学院博士孙路明为配合作者。
ICDE 是电气与电子工程师协会(IEEE)举行的旗舰聚会,与 SIGMOD、VLDB 并称数据库三大顶会,也是中国盘算机学会 ( CCF ) 推荐的 A 类国际聚会,主要聚焦设计、构建、管理和评估高级数据麋集型系统和应用等研究问题,在国际上享有盛誉并具有普遍的学术影响力。此次在荷兰召开的ICDE 2024大会,吸引到北京大学、清华大学、中国人民大学、浙江大学、MIT、斯坦福等高校及全球着名科技企业参会,配合探讨数据库、数据处置惩罚领域的先进手艺问题。
近年来,数据库研究职员提出了多个基于 AI 算法的学习型盘问优化器,它们或者通过自下而上的方法重新学习构建盘问妄想,或者通过提醒(Hint)指导或者限制古板优化器的执行妄想天生历程。虽然这些要领取得了一些乐成,但它们却面临训练效率低下、妄想搜索空间有限等方面的挑战。
而本篇论文提出的 FOSS —— 基于深度强化学习的盘问优化新框架,与指导古板优化器行为的黑盒要领差别,FOSS 是一个白盒要领,通过优化古板盘问优化器天生的妄想,更好地使用专家优化知识。其行为类似一个诊疗盘问妄想的医生,它从古板优化器天生的原始妄想最先优化,发明其中的性能问题,通过系列优化行动逐步刷新妄想中的次优节点。别的, FOSS 还接纳了差池称的收益模子来评估两个妄想之间的性能差别。为了提高 FOSS 的训练效率,我们将 FOSS 与古板优化器集成以形成一个模拟情形。使用该模拟情形,FOSS 可以自动快速天生大宗高质量的模拟履历,然后从这些履历中学习以提高其优化能力。论文在 Join Order Benchmark, TPC-DS 和 Stack Overflow 等多组数据集和负载上评估了 FOSS 的性能。实验效果批注:FOSS 在模子收敛速率、盘问优化效果上优于现有学习型盘问优化器,与 PostgreSQL 默认盘问优化器相比,更是获得了最高 8.33 倍的加速效果。通过引入该手艺,数据库盘问性能、响应时间及用户体验或将有用提升,适用于 OLAP、HTAP 等数据麋集型场景的盘问需求。
作为业内首款漫衍式、多模融合、支持原生AI 的数据库产品,KaiwuDB 恒久致力于为 AIoT 等重点场景提供更富厚的数据运管能力和更卓越的数据库性能,力争一直在 SQL 优化、数据库自治等重点手艺上实现突破。未来也将始终坚持以先进手艺打磨产品,加速学术研究与工业应用融合,为中国数据库手艺立异生长、数据处置惩罚效能提升等方面孝顺新思绪,为政企客户伙伴提供高性能、高可用、易运维的数据服务,助力工业数字化升级与应用立异。