【技术分享】聚焦CSDN数据库在线峰会

发布时间:2021/9/27 18:40:49
作者:达梦大数据 来源:微信公众号 阅读量:

9月24号由CSDN主办的CSDN在线峰会——数据库新时代如期开展,本次在线峰会聚焦于技术干货,从开发者关注的技术痛点出发,分享性能优化、架构设计、系统实现等技术层面的方法论,旨在为开发者提供真正“学到”“用到”的实操经验。武汉达梦数据库股份有限公司技术专家受邀发表《如何攻克缓存技术难题,实现共享存储集群》主题演讲。演讲内容见下文:

随着各行业对信息技术服务的依赖程度不断加深,对数据库的高可用性、大规模数据实时处理提出了更高要求。单实例数据库存在单点故障,无法提供7×24小时服务,在高可用性、高性能计算方面存在天然缺陷。达梦共享存储集群(DMDSC)是解决这一问题的利刃,它具有高可用、高性能、负载均衡等特性。集群支持故障自动切换和故障自动重加入,某一个数据库实例故障后,不会导致数据库服务无法提供,克服了单实例数据库在大规模实时应用场景中的不足,将高端的系统构建在标准化的、低成本的产品上。共享存储集群最大的难题在于缓存交换技术,本报告将叙述达梦是如何率先攻克这一难题并实现共享存储集群的。

共享存储集群两大主要难点是缓存交换和ASM存储管理方案。

缓存交换是指节点间的数据页尽可能通过网络传递,避免通过磁盘的写入、再读出的方式在节点间传递数据,从而减少数据库的IO等待时间,提升系统的响应速度。根据目前的硬件发展状况来看,网络的传输速度比磁盘的读、写速度更快,因此,达梦在DMDSC 集群引入了缓存交换(Buffer Swap)技术,缓存交换的实现基础是 GBS/LBS 服务,在 GBS/LBS 中维护了 Buffer 数据页的相关信息,实现全局并发访问控制要求。

包括:1. 闩的封锁权限(LATCH),作为数据库管理系统的一种内部数据结构,通常用来协调、管理Buffer缓冲区、字典缓存和数据库文件等资源的并发访问,闩(Latch)通常只保持极短的一段时间,比如修改 Buffer 中数据页内容后,马上会释放;全局闩服务也称为全局缓冲区服务,每一个节点上都有一个GBS,根据数据页号对数据页进行划分,分给某一个节点的GBS服务处理;本地闩服务也称为本地缓冲区服务,每一个节点上都有一个LBS;2. 哪些站点访问过此数据页(Access MAP);3. 最新数据保存在哪一个节点(Fresh EP)中;4. 以及最新数据页的 LSN 值(Fresh LSN)等信息。这些信息作为 LBS 封锁、GBS 授权和 GBS 权限回收请求的附加信息进行传递,因此并不会带来额外的通讯开销。

达梦在前期对存储管理方案进行了大量技术验证工作,发现共享文件系统性能差、裸设备难管理,为了产品化、实用化,最终选择ASM方案。ASM绕过了文件系统层,对裸设备进行了精简封装,性能接近于裸设备但又便于管理,虽然将面临着自主研发的难题,但达梦前期已有相关的经验积累。DMASM的实现依赖于两个关键设计:1. 通过簇映射表(hash表),仅引入一次Hash查表开销,完成对物理地址的快速定位;2. ASM客户端(即数据库服务)与ASM服务通过进程间共享内存映射进行连接通信,且簇映射表设计在共享内存内,减少数据内存拷贝,提高通信效率。

达梦率先攻克了缓存交换技术并结合ASM存储管理方案实现了共享存储集群,每个节点都可读可写,实现了一套自动存储管理系统;每个节点都做负载均衡,当节点出现故障的时候,集群有整套故障处理的流程,包括故障恢复之后重加入的流程,整个过程对客户是友好的、透明的。其优异的性能已获得电力、运营商、金融、公安、电子政务、能源等用户单位核心系统的检验。 

关键词:

版权声明

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXXXX”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:service@qeerd.com,投稿邮箱:tougao@qeerd.com

小编推荐
更多

推荐专栏

更多

推荐报告

  • 微博二维码

  • 微信二维码

寻求报道:tougao@qeerd.com商务合作:logan@qeerd.com

求职应聘:anna@qeerd.com市场合作:anna@qeerd.com

企迪网24小时热线电话:400-600-6110(工作时间:周一至周五 9:30-18:30)

总部:北京市顺义区旭辉空港中心A座十层1008号 | 西安:西安市长安区府东一路风憬天下2期17号二单元楼1102室

企迪网 https://www.qidiwang.com 工信部ICP备案号:陕ICP备17012874号-57 广播电视节目制作许可证:(陕)字第01864号 增值电信业务经营许可证:京B2-20181217