上海跬智:客户方的大数据智能分析平台

专题库
来源:中国电子银行网 2018-09-19 11:41:55 2018中国金融科技创新榜上海跬智 金融科技企业案例

核心提示“2018中国金融科技创新榜”科技企业参赛案例

  一.背景

  客户方作为全球级银行卡的组织,致力于打造全球影响力的开放式平台型的综合支付平台,目前发卡量已经是全球第一,交易量也是全球第一。在“互联网+”的大环境下,支付宝,微信支付等新型支付和清算方式不断涌现,未来的五年,也将面临巨大的竞争和挑战。客户方提出了二次创业的目标,确定了向数据公司转型的战略目标。

  由此带来了一个问题,客户方与传统的金融业如何向数据科技公司转型?既然有了转型的动力和转型的目标,转型的能量在哪里?

  毋庸置疑,客户方最大的优势是拥有十几亿人的所有刷卡数据,根据人民银行数据,国内银行卡刷卡金额占社会消费零售总额接近50%,基于这些高价值的数据,客户期望借助世界领先的信息化技术,建设新一代智能数据仓库,对内为企业经营决策,日常运营优化,客户管理,客户服务,市场营销和风险经营提供更全面,更智能,更灵活的分析服务,对外提供合法合规,又符合整个互联网发展趋势和潮流的数据产品和应用。

  二.案例概况

  客户的科技事业部从2007年开始传统数据仓库的建设,支持业务部门报表和多维分析应用。到了2012年以后,随着数据量的快速增长和分析新需求的不断涌现,传统数据仓库的一些弊端和技术限制开始显现,例如日/月报数据准备时间长,查询性能不稳定,编程和扩展性差,权限管理复杂,无法支持商户/卡号等明细级别维度的多维分析等,给科技事业部带来了极大的压力和挑战。

  2013年以后,客户方逐步引入世界领先的大数据技术,搭建基于Hadoop的大数据基础平台,并于2018年将Kyligence国产大数据OLAP引擎作为其智能多维分析核心组件,替代传统数据仓库设施,支持客户方各部门在交互分析,商户服务,产品分析和设计,精准营销,客户画像等方面的应用(如下图所示)。

上海跬智:客户方的大数据智能分析平台

  在该大数据分析平台上,每日的增量流水数据超过亿条,每天平均需要更新的报表达数千张以上。智能多维分析系统支持的各类报表包含商户交易、云闪付、全渠道商户分析、二维码商户、客户方手续费、管理会计、节假日业务等13个主题汇总查询,可分析的维度和指标有数百个,包括日期(年,月,日,周,天)、卡性质,品牌,地区,发卡公司,交易笔数,交易金额等。此外,能够支持客户方五年交易明细数据的秒级查询和大批量数据导出,满足来自数据监管和交易安全方面的需求。

  三.技术架构

  客户方大数据智能分析平台的整体架构是在Hadoop集群上部署了Kyligence公司的企业级智能数据仓库产品,通过预计算技术,高效利用Hadoop分布式计算引擎MapReduce和Spark,批量预计算任意维度组合的分类、汇总统计数据,然后存储在Kyligence专利的可靠、高效的列式存储引擎中,同时向应用层提供支持标准SQL接口的JDBC和ODBC驱动,以无缝集成客户的BI前端门户,实现对BI前端的查询请求的快速响应。

  下图是客户方大数据分析平台的技术架构图。

上海跬智:客户方的大数据智能分析平台

   从机制上说,虽然Kyligence和传统数据仓库(例如Cognos)同样采用的MOLAP技术原理来实现预计算,但Kyligence Enterprise基于Hadoop的大数据分布式架构和并行处理能力,可以将数据和数据的计算、查询扫描过程分布到集群的所有节点上,充分利用Hadoop的并行计算能力,从而能有更好的查询响应和Cube构建性能。

  Hadoop良好的水平扩展性和简便的扩展方式使得Kyligence能够轻易突破传统Cube技术的数据量和Cube大小限制,达到一个Cube就能支撑上千亿的明细数据和TB级的Cube规模,而对于传统数据仓库的Cube,几百GB已经达到其规模极限,明细数据量一旦超过千万级,查询性能就会急剧下降。

  Kyligence Enterprise的超高速查询性能使得其能够在有限的时间内完成大量的查询响应,从而能够有足够的资源来支持高并发查询响应,并且通过水平扩展来实现线性的并发支持扩展(如下图所示),轻松承载客户方大数据分析平台每天大量的数据分析请求。

上海跬智:客户方的大数据智能分析平台

  四.经济效益

  从业务支持角度,借助Kyligence Enterprise智能数据仓库技术,使得客户方大数据分析平台能够向业务部门提供强大的自助交互式多维分析能力,支持在千万级商户上进行高性能交互式分析与数据探索,满足业务创新的需求;赋能4000+报表秒级查询,大大提升了业务部门在日常运营,产品设计,客户管理和经营决策等方面的分析体验和决策效率。

  从成本效益角度,Kyligence Enterprise OLAP on Hadoop技术使得OLAP分析不再依赖昂贵的小型机和高端服务器,使用普通的PC 服务器即可达到更佳的性能和更高的处理能力,节省了每年数千万软硬件的采购成本。

  从IT运维角度,大数据分析平台带来的主要效益包括:

  1个Kyligence Cube替换传统数仓中的800个Cognos Power Cube

  IT运维团队由10人减少到1人,运维成本缩减90%

  日批量由15小时减到2小时,数据准备时间缩减80%

  60%查询毫秒级,90%查询响应小于3秒,多维分析效率提升100x

  解决数据权限问题以及业务口径不统一问题,解决跨维度分析难题

  在本平台中部署的Kyligence Enterprise产品是国产商业软件,成本低,部署快,扩展性好,拥有良好的本地支持团队,为企业提供自主可控的国产大数据智能分析平台。

  五.小结

  近年来,技术的进步、方法的变革,带动了客户方商业模式的创新,例如云闪付,二维码支付等新兴支付方式的应用和推广,通过新的商业模式反馈生成新的数据,形成了良好的闭环。基于Hadoop,Kyligence Enterprise等分布式数据存储和计算技术,使得客户方的大数据多维分析能力得到了很大的提升。

  客户方的大数据智能分析平台“全方位,精细化”地利用银行卡交易和清算环节产生的PB级数据,同时融合来自外部的第三方数据,让交易变得安全、便捷、开放。该平台不仅能够高效支撑对日常交易的运营分析,对交易真实性辨别、对交易环境的可信认证,更能帮助业务部门对支付场景进行智能分析和理解,基于这些理解客户方能够为客户提供更加便捷,个性化的流程和手段,实现交易的智能化,带给客户更好的体验和服务,为客户向数据科技企业转型奠定坚实的基础。

责任编辑:方杰

收藏

  • 最新
  • 最热

    点击加载

      点击加载

      我要评论
      普通评论
      游客

      登录后参与评论

      为你推荐

        暂无相关推荐
        财源源二维码

        热文排行

        • 今日热点
        • 每周排行
        合作媒体

        中国网络电视经济台 | 和讯银行 | 新浪理财 | 凤凰理财 | 腾讯网 | MSN理财 | 网易科技 | 中华财会网 | 第一财经网 | 北京商报网 | 和讯科技 | 财新网 | 中国网理财 | 金融界银行 | 光明网经济 | 东方财富网 | 经济观察网 | 中国经营网 | 赛迪网 | 新华信息化 | 中关村商城 | 同花顺金融服务网 | 环球网财经 | 投资时报 | 钛媒体 | 中国金融新闻网 | 新华网财经 | 人民网金融频道 | 中文互联网数据研究资讯中心 | 中金在线 | 外汇 | 品途网