【技术分享】聚焦CSDN数据库在线峰会

9月24号由CSDN主办的CSDN在线峰会——数据库新时代如期开展，本次在线峰会聚焦于技术干货，从开发者关注的技术痛点出发，分享性能优化、架构设计、系统实现等技术层面的方法论，旨在为开发者提供真正“学到”“用到”的实操经验。武汉达梦数据库股份有限公司技术专家受邀发表《如何攻克缓存技术难题，实现共享存储集群》主题演讲。演讲内容见下文：

随着各行业对信息技术服务的依赖程度不断加深，对数据库的高可用性、大规模数据实时处理提出了更高要求。单实例数据库存在单点故障，无法提供7×24小时服务，在高可用性、高性能计算方面存在天然缺陷。达梦共享存储集群（DMDSC）是解决这一问题的利刃，它具有高可用、高性能、负载均衡等特性。集群支持故障自动切换和故障自动重加入，某一个数据库实例故障后，不会导致数据库服务无法提供，克服了单实例数据库在大规模实时应用场景中的不足，将高端的系统构建在标准化的、低成本的产品上。共享存储集群最大的难题在于缓存交换技术，本报告将叙述达梦是如何率先攻克这一难题并实现共享存储集群的。

共享存储集群两大主要难点是缓存交换和ASM存储管理方案。

缓存交换是指节点间的数据页尽可能通过网络传递，避免通过磁盘的写入、再读出的方式在节点间传递数据，从而减少数据库的IO等待时间，提升系统的响应速度。根据目前的硬件发展状况来看，网络的传输速度比磁盘的读、写速度更快，因此，达梦在DMDSC 集群引入了缓存交换（Buffer Swap）技术，缓存交换的实现基础是 GBS/LBS 服务，在 GBS/LBS 中维护了 Buffer 数据页的相关信息，实现全局并发访问控制要求。

包括：1. 闩的封锁权限（LATCH），作为数据库管理系统的一种内部数据结构，通常用来协调、管理Buffer缓冲区、字典缓存和数据库文件等资源的并发访问，闩（Latch）通常只保持极短的一段时间，比如修改 Buffer 中数据页内容后，马上会释放；全局闩服务也称为全局缓冲区服务，每一个节点上都有一个GBS，根据数据页号对数据页进行划分，分给某一个节点的GBS服务处理；本地闩服务也称为本地缓冲区服务，每一个节点上都有一个LBS；2. 哪些站点访问过此数据页（Access MAP）；3. 最新数据保存在哪一个节点（Fresh EP）中；4. 以及最新数据页的 LSN 值（Fresh LSN）等信息。这些信息作为 LBS 封锁、GBS 授权和 GBS 权限回收请求的附加信息进行传递，因此并不会带来额外的通讯开销。

达梦在前期对存储管理方案进行了大量技术验证工作，发现共享文件系统性能差、裸设备难管理，为了产品化、实用化，最终选择ASM方案。ASM绕过了文件系统层，对裸设备进行了精简封装，性能接近于裸设备但又便于管理，虽然将面临着自主研发的难题，但达梦前期已有相关的经验积累。DMASM的实现依赖于两个关键设计：1. 通过簇映射表（hash表），仅引入一次Hash查表开销，完成对物理地址的快速定位；2. ASM客户端（即数据库服务）与ASM服务通过进程间共享内存映射进行连接通信，且簇映射表设计在共享内存内，减少数据内存拷贝，提高通信效率。

达梦率先攻克了缓存交换技术并结合ASM存储管理方案实现了共享存储集群，每个节点都可读可写，实现了一套自动存储管理系统；每个节点都做负载均衡，当节点出现故障的时候，集群有整套故障处理的流程，包括故障恢复之后重加入的流程，整个过程对客户是友好的、透明的。其优异的性能已获得电力、运营商、金融、公安、电子政务、能源等用户单位核心系统的检验。