华为:金融强一致性分布式数据库案例

专题库
来源:中国电子银行网 2018-09-25 18:51:49 2018中国金融科技创新榜华为 金融科技企业案例

核心提示“2018中国金融科技创新榜”科技企业参赛案例

  一、案例背景

  随着移动互联网的快速发展,金融服务的行为习惯也发生翻天覆地的变化;场景化、碎片化、个性化的金融服务需求越来越高;同时,手机、互联网渠道交易占据主流交易渠道,特别在节假日,如双11、抢购等活动常常导致业务突发高点,业务数据量和交易量的爆增;在传统大集中架构下,传统数据库能力无法满足金融业务移动化、互联网化后的大波动和高增长特性。

  具体体现在:

  1、 传统开源数据库能力,如MySQL存在扩展瓶颈,无法满足金融行业每年成倍的业务增长,传统的分库分表技术将数据分布到多个节点,也需要解决横向扩展和跨节点的分布式事务强一致问题;

  2、 MySQL等开源数据库单机内核性能较弱,导致分布式数据库集规模过大、资源性价比低、运维成本高等问题;

  3、 开放平台的可靠性与传统大型机、小型机相比存在较大差距,严重影响业务连续性,对核心账务等A类关键业务而言不可接受;

  4、 金融行业不仅存在大资金量交易,也存在高并发的小额交易。当前的数据服务不能同时满足可用性和一致性,无法在两者之间提供动态平衡,有着较高的技术风险和极高的维护复杂度。

  二、需要解决的问题

  金融分布式架构的发展,数据层体现在逐步实现数据的分布化,支撑关键交易系统的数据分布。

  针对金融行业的特点,需要有新的分布式数据库,将数据分布到多个节点,同时具备高弹性、高扩展能力,解决金融业务系统数据库的关键问题。

  包括:

  1、解决MySQL等开源数据库单机内核性能较弱,导致分布式数据库集规模过大、资源性价比低、运维成本高等问题;

  2、解决金融云和开放平台上的单机可靠性问题—业务连续性;

  3、满足金融行业自身业务特点的诉求:

  高弹性诉求,具备横向扩展能力,应对互联网类负载的大幅波动;

  高扩展诉求,解决单点性能天花板、Scal-up扩容成本高的问题;

  强一致诉求,满足金融行业对数据一致性强监管的独特要求。

  三、解决方案描述

  华为针对新兴分布式数据库内核能力不适应企业业务的特点,聚焦企业级内核高性能、功能完整、企业级维护能力;同时在分布式和云化能力上满足金融互联网分布式场景,构建有竞争力的金融强一致性分布式数据库。

图例一:华为金融分布式数据库
图例一:华为金融分布式数据库

  华为金融分布式数据库在架构上分为4层:

  1、分布式扩展层:实现高扩展能力,在SHARDING下32节点内扩展比不低于0.8;完整ACID支持及高性能分布式事务(读/写一致性),TPCC标准模型分布式事务性能下降小于5%;

  2、企业级内核层:最高8000并发;10T数据量下,性能变化曲线优于MySQL等开源数据库;具备FlashBack、RecycleBin、监控SessionWait和TopSQL等高价值企业维护特性;

  3、并发集群层:通过RDMA和GBP实现快速倒换;

  4、存储复制层:基于Paxos优化的Z-Paxos分布式一致性协议,支持跨DC的Raft或者Paxos分布式一致性协议,支持两地三中心多副本,动态选主,解决主备倒换一致性等难题。

  四、解决方案达到效果

  Z银行上线后的总结:

  1、高性能

  a、96核下TPCC大于100万TPMC;支持3000并发性能不下降;可管理数据量达到5T;长期高性能压力测试下,吞吐量和时延的曲线平稳性持平Oracle;

  b、支持基于CBO的执行计划优化,5TB级数据量下复杂SQL性能达到Oracle的80%。

华为:金融强一致性分布式数据库案例

  2、实现RTO≈0: 切换时间小于1s,检测时间RDMA环境下可小于5s

华为:金融强一致性分布式数据库案例

  3、高扩展能力:实现32节点扩展比不低于0.8;线程池/线程复用,支持8000+长连接性能平稳;

  4、单套业务系统开发效率提升30%。基于高性能内核可以组建高性能的数据库集群,业务的重心可以聚焦在业务逻辑上,无需将主要精力放在数据本地化、分布式事务、SQL语句等纯数据库层面的优化上,简化了业务开发复杂度;

  5、解决单机可靠性问题;AZ内节点异常,可快速切换到热副本,将业务连续性影响控制在1-5秒以内,远低于Oracle的15-30秒。

华为:金融强一致性分布式数据库案例

  6、跨DC一致性复制,实现Z行同城双AZ高可用能力。

责任编辑:方杰

收藏

  • 最新
  • 最热

    点击加载

      点击加载

      我要评论
      普通评论
      游客

      登录后参与评论

      为你推荐

        暂无相关推荐
        财源源二维码

        热文排行

        • 今日热点
        • 每周排行
        合作媒体

        中国网络电视经济台 | 和讯银行 | 新浪理财 | 凤凰理财 | 腾讯网 | MSN理财 | 网易科技 | 中华财会网 | 第一财经网 | 北京商报网 | 和讯科技 | 财新网 | 中国网理财 | 金融界银行 | 光明网经济 | 东方财富网 | 经济观察网 | 中国经营网 | 赛迪网 | 新华信息化 | 中关村商城 | 同花顺金融服务网 | 环球网财经 | 投资时报 | 钛媒体 | 中国金融新闻网 | 新华网财经 | 人民网金融频道 | 中文互联网数据研究资讯中心 | 中金在线 | 外汇 | 品途网