xiaohack's Blog - OceanBase
type: channel
link: https://blog.xiaohack.org/tag/oceanbase/
items: 走进 OceanBase 向量背后的算法库 —— VSAG
items: 贝叶斯不确定性引导的早停框架ESTune——OceanBase 校企联合研究
items: 在 ClawdBot (MoltBolt / OpenClaw) 中增加记忆插件 PowerMem 的新方法
items: DeepK 自动程序修复框架论文——OceanBase 校企联合研究
items: 中国联通软研院基于OceanBase引领运营商数智化转型新范式
items: 爱奇艺基于OceanBase实现百亿级卡券业务的“单库双擎”架构升级
items: 主流关系型数据库系统缺陷实证研究——OceanBase 校企联合研究
items: 基于分层协作多智能体的数据库参数调优——OceanBase 校企研究
items: 【文档悬赏令】第2号：数据库巡检手册征集，上传文档赢好礼！
items: 2026年1月中国数据库流行度排行榜：OB卫冕首席启新岁，PolarDB进位榜二绽锋芒

走进 OceanBase 向量背后的算法库 —— VSAG
type: item
date: 2026-02-10T11:48:33+08:00
description: 本文整理自《深入解读 VSAG——OceanBase 自研开源向量索引库》系列文章作者 | 金加宝、李昊天、王翔宇、杨鸣宇、钟萧遥（按姓名首字母排序）摘要：OceanBase向量索引库VSAG通过引入SIMD、内存分配优化、量化等方法提升向量检索性能。其核心算法包括：BSA在保证检索精度的前提下加速向量距离计算；EnhanceGraph利用搜索日志和构造日志动态增强图索引，提升查询准确性；DFSANN适配存算分离架构，实现低成本混合存储检索；HGraph则通过组件化分层架构支持多场景平滑切换。向量搜索技术，被认为是海量非结构化数据检索的关键技术之一，这会涉及到高维空间的搜索问题，通常会通过近似最近邻搜索（Approximate Nearest Neighbor Search, ANNS）的方式来在高维空间中进行检索，以此来找到满足要求的数据。随着 AI 应用场景的发展，半结构与非结构化数据的涌现，向量数据库成为 AI 时代重要的数据基座。在 VectorDBBench 基准测试中，OceanBase 在同等环境下向量性能已达到业界主流开源向量数据库的最优水平。这一出色表现很大程度上得益于 OceanBase 向量背后的向量索引库 —— VSAG。向量索引，作为影响向量检索准确率、查询性能的重要因素，是决定向量数据库性能的关键基础。当前，开源社区已经涌现许多算法库，每个算法库有不同的特点，适用于不同的向量检索场景，包括在相似性搜索领域最有名、维护时间最长的 FAISS 算法库 （facebookresearch/faiss）；由于高效、易于集成、单线程读写等特性广泛应用于搜索推荐系统的 hnswlib 算法库（nmslib/hnswlib）；以及本文将深入介绍的 OceanBase 开源向量索引库 VSAG。VSAG 库通过引入了许多 SIMD、内存分配和布局、量化等方法，获得了卓越的近似 K 近邻图的搜索性能表现。受益于其资源管理模块，在系统中能够提供租户级细粒度的计算和存储资源管理，提供了超大规模下混合内存与磁盘的快速检索方案。VSAG 在 960 维的 GIST 数据集上表现出色，在 ANN-Benchmarks 测试中远超其他算法。今天，让我们从最基础的概念讲起，一起走进 OceanBase 向量背后的向量索引库 VSAG，并揭秘其中各项硬核算法。向量是什么向量（Vector / Embedding）是一个数据结构，其中包含一个浮点数的数组。这是一个向量的示例：向量在检索相似的图片、音频和文本等方面发挥着关键作用，这源于其数据属性和特征表示能力。在机器学习和数据科学领域，向量被广泛用于描述数据特征。以图片数据为例，我们可以将其表示为向量。在计算机中，图片本质上是由像素构成的二维矩阵。每个像素的亮度值可视为图片的一个特征，因此，我们可以将这些亮度值串联成一个高维向量，从而实现图片的向量化表示。这种向量化表示使我们能够利用向量空间中的距离和相似度度量方法来比较不同图片之间的相似程度。例如，欧氏距离可用于衡量两个图片向量间的像素差异，而余弦相似度则可测量它们的方向差异。通过计算向量间的距离或相似度，我们可以量化评估不同图片之间的相似程度。在实际应用中，图片除了像素亮度以外还有轮廓等更复杂的特征可以用于比对相似度，所以一般会使用神经网络来进行特征向量的提取，然后通过距离函数来衡量不同图片之间的相似度。这就是为什么向量可以被用来衡量非结构化数据的相似度。当可搜索内容表示为向量时，查询可以在相似内容中找到接近的匹配项。用于向量生成的嵌入模型知道哪些单词和概念相似，并将生成的向量放置在嵌入空间中。例如，关于 “clouds” 和 “fog” 的向量化源文档更有可能显示在关于 “mist” 的查询中，因为它们在语义上相似，即使它们在词法上不匹配。如何衡量向量相似度向量相似度有几种不同的度量方法，其中最常见的是欧式距离、点积距离和余弦距离。这些度量方法各有特点和适用场景。欧式距离直观地反映了向量在空间中的绝对距离，适用于需要考虑向量大小的情况。点积距离反映了向量的方向和大小，常用于机器学习中的权重计算。余弦距离则专注于向量间的角度，忽略大小差异，特别适合文本相似度等归一化场景。选择合适的度量方法对于提高相似度计算的准确性和效率至关重要，并且往往需要根据具体的应用场景和数据特征进行权衡。相似度搜索的一种方法：近似最近邻搜索（ANNS）在大规模数据集中，传统的精确最近邻搜索算法可能需要花费大量时间和计算资源。因此，近似最近邻检索（Approximate Nearest Neighbor Search，ANNS）技术的出现满足了对相似度搜索更快速和高效的需求。近似最近邻检索通过牺牲一定的搜索准确度，来换取更快的搜索速度。这种特性使得 ANNS …

贝叶斯不确定性引导的早停框架ESTune——OceanBase 校企联合研究
type: item
date: 2026-02-10T10:33:45+08:00
description: 摘要：OceanBase联合河南师范大学软件学院与华东师范大学数据科学与工程学院撰写的ESTune论文被数据库领域顶级会议 SIGMOD 2026录用。通过对性能不佳的配置引入早停机制，ESTune 成功打破了迭代式数据库调优中的效率瓶颈。具体而言，ESTune 结合贝叶斯网络，利用部分执行数据（即分段性能指标）对低效配置的最终性能进行可靠预测。日前，由河南师范大学软件学院，华东师范大学数据科学与工程学院与OceanBase团队联合撰写的论文《ESTune: Bayesian Uncertainty-Guided Early Stopping for Database Configuration Tuning》被数据库领域顶级会议 SIGMOD 2026（Proceedings of the ACM on Management of Data）录用。SIGMOD 是 ACM 旗下的年度会议，是数据库领域公认的权威会议。本论文针对现有数据库旋钮调优方法效率低下的痛点，提出了一种基于贝叶斯不确定性引导的早停（即 Early Stopping）框架——ESTune 。该论文的录用，标志着数据库参数自动调优领域在效率提升上取得了突破性进展。该方法通过解决利用部分工作负载数据可靠预测低效配置性能的技术难题，成功在不牺牲调优有效性的前提下，显著加速了现有方法的调优效率。以下为论文介绍：问题尽管现有的自动化调优方法（如 OtterTune、HUNTER 等）能够实现数据库性能的显著提升，但它们普遍面临一个致命瓶颈：调优效率低下。这些方法在每轮参数性能评估时都需要完整运行整个工作负载，导致评估成本高昂且固定。而获取一个满意的参数配置通常需要数百次迭代，因此造成整体调优周期极为冗长，这样严重制约了自动化调优技术的实际应用和推广。目前的自动化参数通常采用全量评估模式（即为每个配置都完整运行整个工作负载）。然而这种评估模式存在固有的局限性与显著的改进潜力。该观点主要基于以下两个关键观察：1.探索与利用的权衡导致性能波动。调优过程中会产生大量性能不佳的配置，这些配置往往占据了大量的评估时间。2.对差配置的评估无需极其精确。对于表现极差的配置，即使评估存在一定误差（例如在 85%-115% 范围内波动），也不会影响最终调优结果的有效性。基于此，该论文提出了 ESTune，其核心理念是：对性能不佳的参数配置实施早停策略，即无需完整运行整个工作负载；随后，ESTune 利用可靠的预测性能替代这些早停配置的最终性能。通过这种方式，ESTune 不仅保证了调优的有效性，而且减少了不佳配置的评估时间，从而提升了调优效率。核心技术一：分段式性能监控与最优粒度切分工作负载通常被划分为基于时间和基于数量两种类型。基于时间的工作负载常见于具有大量短查询的 OLTP 场景。对于此类工作负载，ESTune 将其执行过程划分为固定数量的时间段，并记录每个段的性能指标。例如，对于一个总执行时长为 500 秒的工作负载 TPC-C，若其执行过程被划分为 10 个时间段，则收集器将在每 50 秒的时间间隔内记录一次吞吐量。基于数量的工作负载常见于查询数量较少但耗时较长的 OLAP 场景。对于此类工作负载，ESTune 会按预设的查询语句数量进行分段，并记录每个分段的性能指标。例如，对于一个由 22 个查询语句组成的工作负载 TPC-H，若其被分段为 22 个部分，则 ESTune 将记录针对每个查询语句的性能。核心技术二：基于混合贝叶斯神经网络的性能预测为了准确预测早停配置的数据库性能，ESTune 设计了混合贝叶斯神经网络（即HBNN），其整体架构如图 1 所示。具体来说，GRU 处理由段性能数据组成的数据序列。S1，S2，…，Sl。FNN 用来处理n个参数的取值 V1，V2, …，Vn。BNN 则结合了 GRU 和 FNN 的输出，并预测该配置性能的均值和方差。图1：HBNN的整体架构核心技术三：基于 MAML 的少样本快速适应技术由于数据库参数调优通常期望在短时间内获得满意的结果，因此只能进行有限次的迭代。然而，神经网络又通常需要依赖大量的训练数据来微调参数，以防止过拟合并实现良好的学习与泛化能力。为了应对这一挑战，ESTune集成了MAML（Model-Agnostic Meta-Learning）算法。该算法通过在历史调优任务上进行元训练，学习出一组优秀的初始化超参数。这使得 HBNN 能够快速适应新的调优任务，即使在“冷启动”场景下，也能通过少量迭代迅速收敛。性能成果论文在 MySQL 8.0 和 PostgreSQL 12.12 两个主流数据库系统上进行了广泛评估，使用了包括 TPC-C 和 TPC-H 在内的多种工作负载。实验对象涵盖了 BestConfig, Ot…

在 ClawdBot (MoltBolt / OpenClaw) 中增加记忆插件 PowerMem 的新方法
type: item
date: 2026-02-05T11:29:30+08:00
description: 摘要：本文介绍如何为开源个人AI助手 Moltbot（原 ClawdBot）集成基于 OceanBase 技术栈的长期记忆插件 PowerMem。通过 HTTP API 对接，PowerMem 为 Moltbot 提供智能信息抽取、艾宾浩斯遗忘曲线调度及多智能体隔离的记忆能力，显著增强其上下文持久化与自主决策水平，实现更类人的“数字员工”体验。 Moltbot 是什么？Clawdbot（后更名为 Moltbot，又更名为 OpenClaw）是一款开源、以通讯为核心的AI智能体项目，运行在你自己的设备上，通过你已有的渠道（WhatsApp、Telegram、Slack、Discord、Google Chat、Signal、iMessage、Teams、WebChat 等）和你对话，支持语音、Canvas、多代理路由等。 简单点说：Moltbot 最大的特点是不仅能回答问题，更能真正“动手”操作你的电脑系统，执行命令、控制浏览器、管理文件，就像一个 7 x 24 小时在线的 “数字员工”。 官网 ：https://www.molt.bot/github 地址：https://github.com/moltbot/moltbot Moltbot 部署方式一：NPM 全局安装方式二：源代码安装上面两种安装方式二选一，因为我是走的源代码安装：1. pnpm moltbot onboard --install-daemon 初始化2. 同意风险提示这里会让你确认风险。Moltbot 功能强大，能执行系统命令、读写文件、控制浏览器，但这也意味着如果配置不当或被滥用，可能会带来安全风险，请谨慎使用。3. 选择快速开始4. 配置 AI 模型授权，我手里头有qwen的5. 启动web问个小问题：“查一下我的电脑型号”，很快 moltbot 回复了我机器的具体型号，虽然任务非常简单，但是还是挺惊喜的，距离“贾维斯”又进了一步了。Moltbot 的原生记忆解读Moltbot 的持久记忆可以概括为：「Markdown 文件为单一事实来源 + 可选向量/混合检索」。 存储形态：纯 Markdown 文件 事实来源：模型「记得」的内容 = 写入磁盘的 Markdown；不依赖模型内部状态。默认布局（在 workspace 下，如 ~/clawd）：memory/YYYY-MM-DD.md：按日期的日志，仅追加；会话开始时读「今天 + 昨天」。MEMORY.md（可选）：长期、人工可维护的记忆；只在 main 私聊 session 加载，群聊不加载。 也就是说：短期、按天的记录 → memory/YYYY-MM-DD.md长期、精选事实 → MEMORY.md持久化完全靠「写进这些文件」，而不是靠对话历史本身。 写入时机与「记忆冲刷」（Memory Flush） 平时：模型通过 工具（如 write、edit）或技能，把要记住的内容写到 MEMORY.md 或 memory/YYYY-MM-DD.md。自动冲刷：当 session 快触发自动 compaction 前，Moltbot 会跑一轮 静默的 agent 回合，专门提醒模型「把该持久化的东西写进记忆文件」，并鼓励用 NO_REPLY 不回复用户，避免用户看到这次内部回合。触发条件由 agents.defaults.compaction.memoryFlush 控制，例如在「剩余 token ≈ softThresholdTokens」时触发；每轮 compaction 只做一次 flush，并在 sessions.json 里记 memoryFlushCompactionCount 等，避免重复。 相关代码在 src/auto-reply/reply/memory-flush.ts：shouldRunMemoryFlush()：根据当前 token、context 上限、reserve、softThreshold 判断是否该 flush。若 workspace 只读（如 sandbox workspaceAccess: "ro"），则不做 flush。 检索层：向量 + 可选 BM25 混合检索 数据流实现方式 插件控制：默认使用 memory-core 插件（可设 plugins.slots.memory = "none" 关掉）。工具：memory_search：对 MEMORY.md 和 memory/.md 做语义检索（按 ~400 token 分块、80 token 重叠），返回片段 + 文件路径 + 行号；可选开启 BM25 + 向量 的混合检索。memory_get：按路径（及可选 from/lines）读取 MEMORY 或 memory 下的文件片段，供在检索后精确拉取，控制上下文…

DeepK 自动程序修复框架论文——OceanBase 校企联合研究
type: item
date: 2026-02-03T16:52:23+08:00
description: 摘要：浙大与 OceanBase 联合提出 DeepK 调试引擎，为 LLM-based 自动程序修复提供了一种全新的思路。通过将隐含在大规模 bug-fix 数据中的调试经验显式化、结构化并系统复用，有效弥补了现有方法过度依赖隐式推理的不足，引导大语言模型从“隐式猜修复”转向“基于经验的知识驱动调试”，显著提升了自动程序修复的准确性与稳定性。日前，由浙江大学与 OceanBase 团队联合撰写的论文：《Debugging Engine Enhanced by Prior Knowledge: Can We Teach LLM How to Debug?》被软件工程领域顶级会议 The ACM International Conference on the Foundations of Software Engineering (FSE) 2026 录用。FSE 是软件工程领域最具影响力的国际顶级会议之一，是中国计算机学会 CCF 推荐的 A 类国际会议。本论文通过系统化提取和复用结构化调试知识，引导大语言模型从“隐式猜修复”转向“基于经验的知识驱动调试”，显著提升了自动程序修复的准确性与稳定性。简介随着大语言模型在代码理解与生成领域能力的不断增强，自动程序修复（Automated Program Repair，APR）逐渐成为软件工程研究的重要方向。近年来，大量工作尝试通过提示工程、多智能体协作、示例检索或执行反馈等方式提升修复效果，并在多个基准数据集上取得了可观进展。然而，这些方法大多仍然依赖模型的隐式推理能力：模型需要从原始示例、上下文或运行结果中自行推断调试思路，而调试过程中真正稳定、可复用的知识却并未被显式建模和系统利用。论文 DeepK（Debugging Engine Enhanced by Prior Knowledge）正是针对这一核心缺陷提出了解决方案。作者指出，大规模 bug-fix 数据集中蕴含着丰富的调试经验，但现有方法通常只将其作为上下文示例或推理演示使用，而没有将其中的调试逻辑提炼为结构化知识。DeepK 通过系统性地提取、验证并复用调试知识，为大语言模型提供明确的调试指导，使程序修复从“依赖模型临场发挥”转向“基于经验的知识驱动推理”。核心理念：让调试从隐式推断走向显式知识引导传统的 LLM-based APR 方法在设计上存在一个根本矛盾：一方面希望模型具备类似人类的调试能力，另一方面却很少向模型明确提供“人类是如何调试的”。模型虽然可以在大量示例中隐式学习模式，但这种方式缺乏稳定性、可解释性，也难以在分布外场景中保持鲁棒。DeepK 的核心理念在于，将调试视为一种可总结、可验证、可复用的知识过程。它不再把修复行为简单等同于补丁生成，而是将调试拆解为两个紧密协同的部分：对错误根因的理解，以及围绕该根因展开的修复策略。通过显式建模这两类调试知识，DeepK 试图为大语言模型提供类似“资深程序员经验”的指导，使其在面对新 bug 时能够遵循已有的成功调试路径进行推理，而非从零开始试探。图 1. DeepK 的 4 阶段架构核心技术一：基于 AST 的编辑描述生成与调试语义对齐在从历史 bug-fix 数据中提取调试知识时，一个关键挑战在于如何避免被低层次的代码差异所干扰。直接对比 buggy 与 fixed 代码往往会产生大量琐碎、语义不明确的修改信息，难以反映真实的调试逻辑。为此，DeepK 引入了一种基于抽象语法树的编辑描述生成机制，将代码层面的差异转化为人类可读、具有步骤感的自然语言编辑描述。该机制通过分析两版代码的 AST 结构，定位真正与错误修复相关的修改位置，并过滤掉不合理或无关的编辑操作，从而生成更符合人类调试习惯的修改描述。这一过程有效弥合了“代码补丁”与“调试思维”之间的鸿沟，为后续调试知识的抽取提供了清晰、语义化的输入。图 2. 代码编辑描述生成工具核心技术二：结构化调试知识的抽取、验证与知识库构建在获得编辑描述后，DeepK 进一步引导大语言模型围绕“如何定位并修复该 bug”生成结构化调试知识。模型需要明确指出错误的根因，并给出一步步的调试与修复策略。与以往方法不同的是，DeepK 并不直接接受模型生成的结果，而是引入了验证机制：模型必须仅基于自己生成的调试知识重新修复程序，并通过测试用例验证其正确性。只有能够稳定指导修复成功的知识，才会被纳入最终的调试知识库。在知识组织层面，DeepK 采用多视角索引策略，从任务描述、程序结构以及执行轨迹等多个维度刻画每一条调试知识，使其能够在面对不同类型的新 bug 时被准确检索。这种多维度设计避免了单一相似度度量带来的偏差，使知识检索既具备语义相关性，又保留结构与运行层面的信息。图 3. 结构化调试知识抽取核心技术三：先验调试知识增强…

中国联通软研院基于OceanBase引领运营商数智化转型新范式
type: item
date: 2026-02-02T17:02:28+08:00
description: 摘要：中国联通使用的传统集中式数据库面临高并发、扩展难、运维复杂等痛点，于是其与 OceanBase 构建“企业版核心承载 + 社区版自主创新” 双轨体系，现已全面覆盖联通 B 域（业务支撑）、O 域（运营支撑）、M 域（管理支撑）全场景。其中，OceanBase 企业版攻克运营商最核心的B域40% 生产系统，支撑全球最大规模 “全国大集中” 核心业务。当超 4 亿用户的通信消费、5G 服务、政企业务全部汇聚于 “全国一套系统”，当传统数据库的性能瓶颈，遭遇数字时代的 “数据海啸”，自研数据库如何扛起全球最复杂的电信核心业务？近日，中国联通软件研究院（简称 “联通软研院”）与 OceanBase 的四年深度合作交出了震撼行业的答卷：双方打造的 “企业版核心承载 + 社区版自主创新” 双轨体系，已全面覆盖联通 B 域（业务支撑）、O 域（运营支撑）、M 域（管理支撑）全场景，累计部署节点超 1000个。其中，OceanBase 企业版攻克运营商最核心的 B 域 40% 生产系统，支撑全球最大规模 “全国大集中” 核心业务；基于OceanBase 社区版自研的 CUDB 数据库规模化上线数百套系统，更以 AI 向量数据库创新应用 ChatDBA，为运营商智能化转型提供了可复用的创新方案。这场合作见证了自研数据库技术从 “入局” 到 “破局” 再到 “引领” 的华丽转身。破局 “全国大集中”：超 4 亿用户核心系统的分布式升级革命在电信行业 “省集中” 为主流的格局下，中国联通率先推行 “全国大集中” 战略，以一套 cBSS 系统承载 31 省全业务、全客户、全渠道服务，支撑超 4 亿用户的 CRM、计费、结算等核心场景 —— 这是全球电信行业单体承载用户最多、集中化程度最高的业务支撑系统，其技术升级难度堪称 “在飞行的飞机上换引擎”。此前，该系统长期依赖传统集中式数据库，即便后续升级为 “中间件 + 数据库” 架构，仍面临高并发性能瓶颈、扩展性不足、运维复杂等致命痛点：月初缴费高峰时 “一省慢、全国卡”，5000 万用户基数就触达集中式数据库性能上限；31 省业务 “共性收敛与个性保留” 难以平衡；复杂存储过程与多数据库类型导致升级改造难如登天。OceanBase 的分布式架构成为破解困局的关键。作为 “全国电信唯一大集中核心业务支撑系统国产升级” 案例，OceanBase 企业版通过三大核心能力实现突破：一是 “两地三中心” 部署模式，以Paxos 协议分布式一致性机制，实现 RPO=0（数据零丢失）、RTO<30秒的金融级容灾，相比传统集中式数据库的主备架构，容灾建设成本降低 50% 以上，支撑核心业务全年 7×24小时无间断运行；二是多租户弹性扩缩容技术，将全国上千个节点物理资源池化，按业务需求动态分配 CPU、内存、IO，彻底解决资源争抢问题，计费中心查询性能提升 60%，政企中台并发处理能力翻倍，资源利用率从不足 40% 跃升至 80% 以上，硬件成本降低 60%；三是深度兼容特性，完美适配 MySQL 与 Oracle 语法，让复杂存储过程、冷僻 SQL 语句无需大幅改写，实现 ERP 系统零改造平滑升级，B 域核心系统整体升级改造成本降低 70%。更具创新性的是，基于 OceanBase 多租户能力构建的 “一库多服” 架构：通过镜像库将 10 余个业务中心的高负载查询请求从生产库剥离，既保障 “全国一套账” 的统一管理，又能灵活响应各省 5G 用户增长分析、政企客户关联图谱等个性化需求，仅用 1 周就完成所有数据库升级同步，成为支撑业务运营的数据枢纽。自主创新加码：CUDB 引领开源生态规模化落地在核心业务升级的同时，联通软研院并未止步于 “使用者” 角色，而是向 “开发者”“创新者” 转型。2021 年 OceanBase 开源后，联通软研院仅用 13 个月就完成社区版深度优化，打造出分布式 HTAP 数据库产品分布式 CUDB，成为基于 OceanBase 社区版的最大规模应用案例。截至 2025 年 6 月，分布式 CUDB 已承载数百个业务应用，部署节点超 200 个，管理原始数据量近 300TB，广泛覆盖 O 域、M 域各类场景。为解决传统 MySQL 多版本分散、升级低效的痛点，自研 MySQL 与分布式 CUDB 双向数据迁移工具，实现 10 万条 / 秒的升级速度 —— 这是社区版 OMS 的 3 倍、同类产品 DataX 的 5 倍，已累计完成 25TB + 数据升级，兼容性与效率均处于行业领先水平。同时，分布式 CUDB 全面接入联通云，实现 “一点开通、一点交付、一点监控、一点运维、一点操作” 的一站式服务，大幅提升云租户使用体验与运营效率。更值得关注的是，联通软研院在合作中累计向 Ocean…

爱奇艺基于OceanBase实现百亿级卡券业务的“单库双擎”架构升级
type: item
date: 2026-01-30T11:44:54+08:00
description: 摘要：爱奇艺卡券业务原采用 “MySQL 分库分表 + ES 异步同步” 架构，面临 TP/AP 分离导致的架构复杂、AP 查询分钟级延迟、数据一致性隐患等问题。如今借助 OceanBase 的 HTAP 能力，将 AP、TP 业务融合到一个数据库，在架构简化、成本控制与效率提升方面均取得了突破。爱奇艺是国内知名的在线视频平台，每年都会推出上百部优质长视频内容，其中不乏如 2023 年现象级爆款《狂飙》这样的佳作。近两年，随着短视频、微剧的兴起，平台年处理视频内容数量级从上百部直接跃升至上万部。每一部内容从立项、拍摄、生产、制作到上线播出，均需经过复杂流程，并依赖上百个业务模块协同支持。卡券业务是出于整个业务生态里面的中台位置，对上提供中台能力，如为创新型业务会员、云影院提供商业化变现和用户转化营销工具。过去，卡券业务系统将 AP（分析处理）与 TP（事务处理）业务分开处理，架构复杂，需要较高的维护成本；如今，借助 OceanBase 的 HTAP 能力，将 AP、TP 业务融合到一个数据库，在架构简化、成本控制与效率提升方面均取得了突破。解构卡券业务的数据架构困境卡券是爱奇艺核心的营销与促销工具，贯穿爱奇艺的会员购买、云影院观影等商业化变现全链路。其底层数据库的性能直接关乎用户体验与业务敏捷性。例如，促销发券、会员领券等场景均需要业务系统提供高并发事务处理（TP）能力。而在运营侧，则需要实时统计和分析发券数量、会员领券等指标，以便评估活动效果、优化营销策略，这依赖于高效的数据分析（AP）能力。过去，卡券业务系统采用的是“MySQL 分库分表+ES 异步同步”的复杂架构：分库分表的 MySQL 来承载 TP 业务，以应对高并发海量请求；Elasticsearch（ES）来完成统计分析等 AP 类业务。“这个卡券业务的架构基本上能为业务需求提供足够的支撑。不过，我们并不满意，一直在寻找新的解决方案。”爱奇艺高级总监张冲表示。其最重要的原因就在于系统架构过于复杂，虽能满足业务需求，但每一个节点都需要研发投入大量精力维护，顶峰的时候研发资源占比近 80%，严重挤占了业务创新资源。具体而言，在 TP 业务方面，通过分库分表的 MySQL 集群支撑高并发交易，但实际日常资源利用率仅约 10%，资源冗余明显。在 AP 业务方面，ES 进行运营统计分析时的数据源自订阅多个 MySQL 实例的 binlog，经消息队列 RMQ 异步同步至 ES，链路冗长，存在分钟级延迟。并且 ES 的清理归档代价较高，Reindex 开销也比较大。此外，数据的一致性与准确性面临挑战，在异步同步过程中，甚至出现过 UV（访客数量）超过页面点击的异常，统计准确率难以保障。张冲坦言，对现有架构进行升级更深层的原因，源于对技术进步的持续追求。“我们希望技术上再往前走一走，要和互联网行业最先进的技术保持对齐。”从“分库分表+ES”到“单库双擎”，爱奇艺 HTAP 架构升级实践随着新技术趋势的出现，爱奇艺也开始寻找能够简化架构、支撑业务更好发展的新发展。数据库的升级是这次架构升级的关键。对于新一代数据库，爱奇艺提出了明确的要求：第一，必须是一款兼顾 TP、AP，具备 HTAP 能力的数据库产品，无需管 MQ，无需处理异构的数据，尽量减少对数据平台的依赖，以简化数据底座；第二，总体成本可控，和现有架构相比成本不能上升，符合公司降本增效的目标；第三，云中立，在遇到故障的时候可以实现云逃逸，且在不同的云上均可提供一致性的服务。根据上述三个基本要求，经过对多款主流数据库产品的调研与测试，OB Cloud 一体化云数据库凭借其卓越的性能与高度契合的需求满足度，赢得了爱奇艺的青睐，并且在高并发、高可用、安全、数据治理、低成本等方面的技术积累，都被浓缩到 OB Cloud 一体化云数据库的产品中。张冲表示：“OceanBase 不仅提供了真正的 HTAP 融合能力，其原生分布式架构还与我们的云原生战略高度契合。同时，OB Cloud 在百度云上开服也是一个重要契机，因为爱奇艺的系统平台就部署在百度云上。”完成数据库选型之后，爱奇艺迅速开始了数据和架构升级的准备工作。升级工作分为两个阶段：AP 升级：将 ES 集群中的百亿文档升级至 OB Cloud 集群。通过双写、迁移历史数据、切读、停双写等步骤，不仅完成数据升级，还从业务层面进行了逻辑去冗余和简化。最终，资源成本下降 60%，运营查询类 SQL 基本在 1 秒内返回。TP 升级：将 16 个物理机数据库从原生 MySQL 分库分表形态升级至 OB Cloud 集群。借助 OceanBase 的 OMS 同步工具，顺利完成海量数据同步与校验工作。最终，存储成本下降 80%，且系统具备弹性伸缩能力，无需为大促提前预备资源。张冲表示，为…

主流关系型数据库系统缺陷实证研究——OceanBase 校企联合研究
type: item
date: 2026-01-29T16:34:24+08:00
description: 摘要：OceanBase联合中国人民大学数据库团队的数据库缺陷实证研究，被软件工程顶刊IEEE TSE录用。该研究首次构建了面向开源关系型数据库的细粒度缺陷分类体系，共获得12 项发现，为RDBMS系统的开发维护和测试提供了重要启示。研究发现，涉及SQL数据类型及数据库触发器、存储过程、参数设置等复杂功能的缺陷现有测试工作无法有效触发，这一发现为提升RDBMS缺陷检测能力提供了显著改进空间。日前，由 OceanBase 联合中国人民大学数据库系统研究团队（刘爽副教授）对主流关系型数据库系统缺陷开展的实证研究《A Comprehensive Study of Bugs in Relational DBMS》被软件工程领域顶级期刊 IEEE Transactions on Software Engineering(TSE) 正式录用。IEEE TSE 是 IEEE 旗下软件工程方向的权威期刊。在数据库缺陷实证研究方面，本论文首次系统分析了 MySQL 等三个开源数据库中 777 个真实缺陷，揭示了 RDBMS 的缺陷在根因、表症等方面的特点，以及现有测试工具在深层语义缺陷检测上的局限性。以下为论文介绍。简 介本研究通过“系统性实证分析”揭示主流关系型数据库在真实场景中的缺陷规律。研究覆盖 MySQL、SQLite 和 openGauss 三大系统中 777 个高质量修复缺陷，深入剖析其根本原因、症状表现、分布特征及其关联性。其核心贡献在于：首次构建了面向开源关系型数据库的细粒度缺陷分类体系，研究共获得 12 项发现，为 RDBMS 系统的开发维护和测试提供了重要启示。研究发现，涉及 SQL 数据类型及数据库触发器、存储过程、参数设置等复杂功能的缺陷现有测试工作无法有效触发，这一发现为提升 RDBMS 缺陷检测能力提供了显著改进空间。方法与分类体系表1：采集 bug 的统计信息本研究通过一套严谨的实证方法对关系型数据库中的真实缺陷进行系统性分类与归因。围绕三个核心维度展开：根因、症状和修复模块。研究团队从 MySQL、SQLite 和 openGauss 的官方仓库中收集了 2018 至 2023 年间报告的 2495 个缺陷，经过严格筛选后构建了一个高质量的 777 个缺陷数据集。在此基础上，作者提出了一套四维分析框架：根因维度识别出 12 类根本问题（如错误逻辑、API 误用、类型处理缺陷等）；症状维度归纳了包括错误结果、崩溃、死锁、性能退化等行为；模块维度定位缺陷修复位置（如解析器、优化器、执行引擎、存储层等）；关联性进一步探索三者之间的关联规律，例如“类型相关根因多导致错误结果，且集中于表达式求值模块”。为确保标注一致性，两名研究人员独立完成全部标签分配，并通过 Cohen’s Kappa 系数评估达成共识。该方法不仅保证了分析的客观性，也为后续数据库测试工具的设计提供了可操作的指导依据。结果与分析研究揭示了多项关键发现。首先，在根因分布上，“不正确的代码逻辑”占比最高达 32.3%，“类型处理缺陷”和“API 误用”分别以 9.0% 和 8.4% 的比例成为第二、第三大类根因。其次，在症状表现方面，“结果不一致”是最普遍的症状，占全部缺陷的 42.99%，且往往无崩溃、无报错，具有极强的隐蔽性。图1：按根本原因划分的缺陷分布进一步的跨系统对比显示：MySQL 与 SQLite 在缺陷模式上高度相似，而 openGauss 因架构差异与活跃开发状态，表现出显著不同的缺陷谱系。这些结果不仅刻画了数据库内核的脆弱面，也为未来高可靠数据库的设计与质量保障工作指明了方向。图2：症状与根因的关系概念验证工具 SQLT研究中观察到类型相关缺陷在数据库 bug 中占比显著，团队开发了一个概念验证工具 SQLT，用于针对性挖掘此类问题。SQLT 强化了对跨数据类型表达式、隐式类型转换以及非标准类型（如 BIT、JSON）组合的查询生成能力。该工具通过比对语义等价查询的执行结果，能够有效识别那些不触发崩溃但返回错误结果的静默逻辑缺陷。在实验中，SQLT 不仅成功复现了多个已知类型 bug，还新发现 8 个此前未被报告的问题，其 5 个已被 MySQL、SQLite 和 openGauss 官方确认并修复。表2：SQLT检测到的缺陷欢迎访问 OceanBase 官网获取更多信息：https://www.oceanbase.com/

基于分层协作多智能体的数据库参数调优——OceanBase 校企研究
type: item
date: 2026-01-29T15:26:06+08:00
description: 摘要：OceanBase联合成都信息工程大学的数据库缺陷实证研究，被软件工程顶刊IEEE TKDE录用。研究聚焦复杂工作负载下数据库参数自动调优的效率与泛化能力问题，提出一种分层协作的多智能体框架，通过创新的训练机制与协同策略，有效破解传统调优方法的瓶颈，为数据库性能优化和预测提供了兼具理论创新性与工程实用性的技术方案。近日，成都信息工程大学与 OceanBase 研发团队合作完成的研究《CMA+DB: How to Automatically Tune Database Parameters through Collaborative Multi-Agents》，被《IEEE Transactions on Knowledge and Data Engineering》（TKDE，CCF A 类、SCI 一区）录用。研究聚焦复杂工作负载下数据库参数自动调优的效率与泛化能力问题，提出一种分层协作的多智能体框架，通过创新的训练机制与协同策略，有效破解传统调优方法的瓶颈，为数据库性能优化和预测提供了兼具理论创新性与工程实用性的技术方案。以下为论文介绍：研究背景与挑战随着分布式与云计算技术的发展，数据库工作负载日趋多样化、复杂化。从高并发的在线交易场景（TPC-C），到随机读写的云服务场景（YCSB），再到高实时性的社交互动场景（Twitter），不同场景对参数配置的需求差异显著。传统调优方式逐渐难以适配这些实际需求：人工调优高度依赖 DBA 的专业经验，不仅需要耗费大量时间梳理参数关系，而且无法应对动态变化的工作负载，往往出现 “调优即过时” 的问题；搜索式调优方法依赖启发式规则，在简单场景下表现尚可，但面对多参数交互的复杂场景时，搜索空间急剧扩大，调优效率大幅下降；贝叶斯优化方法需要手动筛选关键参数，若参数定义不全面，难以找到最优配置；现有强化学习调优方法多采用单智能体设计，仅能对参数进行粗粒度调优，无法充分挖掘不同类型参数间的深层交互影响，调优精度和泛化能力受限。如何实现参数调优的自动化、精准化与高效化，成为数据库领域亟待解决的关键问题。图1 数据库参数调优主要步骤核心理论创新：CMA+DB 多智能体协作框架CMA+DB 框架以 “分类协作、分层训练” 为核心设计理念，构建了三级递进式训练机制，整合单智能体预训练模型 SAPM、多智能体联合训练模型 MATM 与基于概率选择的联合训练模型 PJTM，既保障了单个参数类别内的调优深度，又实现了跨类别参数的协同优化。三个子模型并非孤立存在，而是以级联方式递进工作，前一阶段的训练成果直接作为后一阶段的输入，形成 “基础专精—交互探索—精准强化” 的完整调优链路，确保框架在参数交互捕捉、调优效率与泛化能力之间实现最优平衡。图2 CMA+DB 模型工作原理在技术实现上，CMA+DB 基于深度确定性策略梯度（DDPG）与多智能体深度确定性策略梯度（MADDPG）构建核心算法架构，采用 Actor-Critic 网络结构实现智能体的决策与优化。每个智能体都具备独立的观测空间与动作空间，通过与数据库环境的持续交互获取反馈，不断优化参数调优策略。图3 多智能体 Actor 和 Critic 网络结构在第一阶段，提出单智能体预训练模型 SAPM。训练初期，每个 Agent 负责调优一类功能或参数级别相似的参数，目的是探究单个 Agent 对数据库性能的影响，进而优化其网络，使得其神经网络偏向于调节重要参数。该过程 Agent 之间相互不影响。与传统的单智能体模型相比，SAPM 模型的优点在于更深入地探究相似参数之间的关系，也更容易识别出一些重要参数。这一阶段对于识别关键参数和实现快速收敛至关重要。通过使智能体能够初步掌握参数调整策略，SAPM 为后续更复杂的多智能体训练奠定了坚实的基础，并减少后续阶段的耦合干扰，从而提高了整体效率和效果。在第二阶段，提出多智能体联合训练模型 MATM，在 MATM 模型训练阶段，使用组合算法将多个 Agent 的预测动作组合并映射为一组数据库的推荐配置，要求 Agent 之间不能存在相同的数据库参数。这种协作方法不仅增加了可调参数的数量，还显著增强了模型的表现力和调整能力。此阶段虽然存在耦合，但通过联合训练，能够让智能体逐步适应彼此的行为模式，实现协同优化。在第三阶段，提出了联合动作概选模型 PJTM，在 SAPM 和 MATM 模型训练之后进行训练，算法为每个 Agent 设置了一个概选因子 Pi， Agent 根据 Pi，随机地参与联合动作推荐。当一个 Agent 控制的数据库参数对数据库性能的提升微乎其微时，就可以根据 Pi 减小该 Agent 的动作参与，进而降低其对其它 Agent 所做动作的负面影响。这一机制有效减少了低影响智能体对整体调优过程的干扰，…

【文档悬赏令】第2号：数据库巡检手册征集，上传文档赢好礼！
type: item
date: 2026-01-29T12:16:00+08:00
description: 墨天轮社区举办的 【文档悬赏令】系列活动，每次聚焦一个主题，征集真实、可操作的第一手文档，希望能扩充社区文档资源、为更多人提供有用的参考资料，让技术学习少走弯路！第2号悬赏令活动主题：数据库巡检方案实践数据库巡检是保障业务稳定运行的核心运维环节，更是DBA日常工作的重中之重。当前数据库类型、场景十分丰富，多数从业者需耗费大量时间整理巡检清单、调试巡检流程。墨天轮社区第二期【文档悬赏令】活动特围绕这一主题发起有奖征集活动，诚邀您上传实用、可落地的数据库巡检文档，和社区众位DBA们互帮互助，让巡检工作更高效、更标准！一、活动时间2026 年 1 月 26 日 - 3 月 28 日二、文档要求1、主题范围本次征集聚焦 “数据库巡检” 核心主题，覆盖国内外主流数据库，基础巡检、专项巡检、自动化巡检等多类实用方案等均可，具体范围如下：巡检主题细分（包含但不限于）：基础巡检：日常运维巡检表/巡检清单/巡检手册专项巡检：性能监控与优化巡检/灾备状态巡检/单机or集群巡检方式：手动巡检标准化文档/自动化巡检/脚本命令/巡检工具数据库不限：商业数据库：Oracle、SQL Server等国产数据库：达梦DM8、人大金仓KingbaseES、OceanBase等国产库开源数据库：MySQL、PostgreSQL、Redis等开源库2、合格要求与格式文档内容需明确巡检目的、适用场景、巡检流程等，包含巡检相关代码（部分敏感信息可隐去）。页数要求：≥5 页必加标签：上传时需在 “标签” 栏填写 “数据库巡检” + 数据库种类（如 Oracle、OceanBase） 两个标签支持格式：优先推荐 .doc、.pdf、.ppt、.md、.txt 格式（可支持前 5 页预览，下载率更高）；也可上传 .zip （需附内容说明）；以下文档将被判为不合格：1）主题无关：非“数据库巡检”相关主题2）内容搬运：直接上传电子书或产品官方文档、他人演讲PPT，或直接复制抄袭、全文搬运网站其他文章/文档内容（已发布的文章内容不可以同时上传成文档参与活动，但如果是您曾发在其他网站的内容则可以上传参与）3）流水账或凑字数：文档页数需≥5页，但不可通过凑字数、使用大量无关图片占篇幅等4）作者刷量：不可刷数据-我们鼓励作者自发宣传自己的文档，但不可使用人工刷量、注册小号刷量等方式提高下载量；不可将文档拆分多份上传，导致单份内容无实际意义、缺乏完整性5）重复文档：重新上传以前发布的文档系统会自动识别判定为重复仅自己可见，也不可删除旧文档后重新上传三、上传步骤登录上传：登录墨天轮账号后，点击链接直达上传页：https://www.modb.pro/docUpload，或在首页下拉框点击 “传文档”；填写信息：标题：建议明确标注 “数据库种类 + 巡检场景”（如《MySQL数据库巡检手册》《Oracle数据库常规巡检项目和命令》），帮助他人快速判断主题标签：上传时需在 “标签” 栏填写 “数据库巡检” + 数据库种类（如 Oracle、OceanBase） 两个标签墨值设置：支持免墨值 / 5 墨值 / 10 墨值 / 25 墨值 / 50 墨值 / 100 墨值，设置墨值后，他人下载时支付的墨值将实时计入您的账户（ps：一般来说墨值越低下载门槛越低，被下载可能更高）提交：确认信息无误后点击 “提交文档”即可。于 “控制台-内容管理-我的文档” 处可查看您所有文档明细，若您遇到“仅自己可见”“转换失败”等状态可询问墨天轮小助手（VX：modb666）询问具体原因。四、奖励设置本次活动奖励分为 “合格奖”“有效助人奖”“巡检先锋奖” 三类1、合格奖每位用户每日首次上传≥5 页的合格文档，可自动触发 “每日任务” 获 5 墨值。此外，本次活动奖励额外可叠加，根据用户合格文档数量发放不同等级的墨值奖励，具体如下：合格数量墨值0-3个10墨值/份3个以上15墨值/份2、有效助人奖根据单个文档下载数发放不同等级的墨值奖励，每个用户最多可有5个文档获得本项奖励：被下载数墨值30＜被下载数 ≤ 5050墨值50＜被下载数 ≤ 100100墨值100＜下载数 ≤ 150200墨值150＜下载数 ≤ 200300墨值下载数＞200500墨值3、巡检先锋奖将综合评估用户上传的合格文档的内容质量及总下载量，评选出 “既多产、又优质” 的核心贡献者，发予相应奖励：奖项等级奖励内容第 1 名1000 墨值 + 100元内数据库实体书一本第 2 名500墨值 + 爱国者U盘（128GB 双接口）第 3-5 名笔记本电脑支架（可旋转）说明：三类奖项单独评奖、每位用户可重复获得。其中新版本先锋奖数量将根据实际参与情况灵活调整，若参与情况佳则可能增设、反之亦然。五、奖励公布与发放进度公示：为了让大家更加了解自己的参与进度，…

2026年1月中国数据库流行度排行榜：OB卫冕首席启新岁，PolarDB进位榜二绽锋芒
type: item
date: 2026-01-28T12:08:08+08:00
description: 新元启幕，万象更新；榜单出炉，洞察先机。2026 年首期中国数据库排行榜正式发布，本期榜单整体格局延续此前态势，排名变化不大。回顾 2025 年，国产数据库厂商整体表现稳健，技术路线与产品定位进一步清晰。在这一背景下，1 月榜单的表现也为观察当前国产数据库市场的竞争格局与发展趋势提供了一个清晰窗口。接下来，和小编一同盘点本月榜单部分产品的亮眼表现。一、PolarDB 升榜眼，达梦守前三最新数据库榜单前十揭晓，OceanBase 毫无悬念卫冕榜首，PolarDB 实力突围跃升榜眼，达梦数据库稳坐前三之位。值得关注的是，本月前十排名中，仅 PolarDB 与达梦两家的位次发生调整，其余产品座次保持不变。图1:中国数据库流行度排行榜前十得分情况新年伊始，OceanBase 以737.24分稳居榜首，这份领先地位的背后，是其在技术研发、工程实践与战略布局上的全方位深耕。在数据库核心问题研究上，OceanBase始终深耕不辍，联合华东师范大学发表的论文《APQO：自适应参数化查询优化框架》成功入选数据库顶级会议SIGMOD 2026；与中国人民大学合作完成的关系型数据库缺陷实证研究成果，也顺利被IEEE TSE正式录用，通过系统分析777个真实缺陷，足见其在工程质量与底层机制打磨上的持续深耕。工程与产品打磨上，2025全年OceanBase完成460次投产，稳定支撑1500余个关键业务系统运行，在高复杂度生产环境中沉淀出成熟的交付与运维体系；全年累计推进16次版本迭代，新增489项功能与158项数据库相关专利，工程体系化能力进一步夯实。面向AI时代浪潮，OceanBase持续推进一体化战略，不仅发布兼容TP、AP与AI负载的融合版本OceanBase 4.4，还推出AI原生混合搜索数据库SeekDB助力Data × AI战略落地，其在AI就绪数据库方向的探索，更首次获得IDC面向生成式AI的数据基础设施“领导者”评价。本月 PolarDB以654.49分排名较上月上升一位，跻身榜眼之位，整体表现稳中有进。行业认可方面，Gartner 2025年全球云数据库管理系统魔力象限给出了有力佐证——阿里云连续第六年入选“领导者”象限，且是亚太区唯一入选厂商。这一成绩的背后，作为阿里云核心云原生关系型数据库的PolarDB提供了重要技术支撑，充分印证自身产品成熟度、技术完整性与全球竞争力。图2:Gartner 2025年全球云数据库管理系统魔力象限IDC最新报告披露的市场数据同样可观，2025年上半年中国关系型数据库软件市场规模达22.1亿美元，公有云关系型数据库同比增长16.3%，增速优于整体市场；阿里云位列市场前三，在云数据库规模化交付与行业覆盖上的优势，为PolarDB的持续落地与增长筑牢市场基础。图3:2025 年上半年中国关系型数据库软件市场规模前三名分别为：阿里云、腾讯、华为达梦数据库本月以614.76分稳居榜单第三名，核心竞争力集中在多关键行业的国产化落地成效，以及技术与生态的双重突破。国产化实践推进中，达梦不断拓宽覆盖边界、提升项目复杂度，在医疗、通信、交通等领域均交出亮眼答卷：助力武汉大学人民医院完成病案管理系统底层数据库升级重构；与福建移动深化国产化替代合作，还助力其斩获“数字中国创新大赛”奖项；参与建设的西镇高速全路段国产化收费系统已实现稳定运行。底层能力打磨与生态建设同步推进，凭借扎实的生态建设成果，达梦荣获2025 IDC中国生态奖；资本市场上，达梦数据（688692）成功入选“科创板上市公司价值30强”。综合来看，达梦数据库本月稳居前列，正是其在重点行业落地、技术自主可控及生态体系建设上持续发力的必然结果。金篆信科GoldenDB 本月表现亮眼，以577.06分位居行业排行榜第四位，核心竞争力在权威认可与关键行业落地中充分彰显，成为国产数据库领域的核心标杆。权威评选中，2025数据智能“星河（Galaxy）”案例评选给出有力背书，GoldenDB成为入选案例数量最多的数据库厂商，充分印证其技术落地能力与行业实践深度。关键行业布局中，运营商领域GoldenDB稳居领先地位，在中国移动、中国联通核心系统数据库市场占比分别超80%、60%，每日支撑9亿+移动用户、12亿+物联网用户计费，与多家移动公司合作的核心业务改造、智能运维等案例均获权威认可，转型成效显著。金融领域更是实现突破，作为业界首家覆盖全类型金融机构核心系统的国产数据库，其服务超100家金融机构，每日承载超100亿笔、10万亿元交易，获头部机构战略投资，连续稳居市场占有率第一。本月，金仓数据库以568.20分位列行业排行榜第五位，核心优势集中在关键行业持续落地与产品能力的迭代完善上。能源领域始终是其重点实践方向，截至目前，已累计支撑1000余个发电厂项目，部署30…