2018年9月23号16点16分，凝聚着重庆银行人心血的新一代核心业务系统与应用级双活数据中心成功上线。本次应用级双活数据中心与新一代核心业务系统的顺利上线，实现了重庆银行数据中心架构与业务系统的整体重构，带来了重庆银行业务与技术的全面转型，开启了重庆银行科技赋能业务发展的新篇章。在新一代核心系统的建设部署过程中，使用多层业务调度框架（DLLB）构架应用双活体系，实现核心系统双活部署运行，并成功实现秒级应用灾备切换。

启用“新核心”打造金融科技新优势

重庆银行老核心系统于2004年建设上线，对业务经营和发展产生了强有力的支撑作用。近年来，国内外金融环境复杂多变，金融监管要求日趋严格，客户需求日益多样化，跨界及同业竞争加剧，金融科技迅猛发展，互联网金融浪潮兴起，商业银行间的竞争已趋白热化。老核心系统逐渐显现出客户支持能力不足、业务处理效率偏低、产品创新速度较慢以及跨渠道服务能力较弱等问题，亟待更新升级以适应外部形势变化的要求。

正是在这样的大背景下，2017年6月2日，重庆银行启动了新一代核心系统建设项目，行领导亲自挂帅管理，科技部和运营管理部双牵头实施，总行各业务部门、各分支机构积极参与配合。这是重庆银行领导层为加大改革创新力度而采取的重大战略决断，是一项涵盖业务转型、技术转型和实施转型在内、事关重庆银行全局的企业级系统工程。

重庆银行新一代核心系统涉及行内50多个渠道及业务系统、20多个管理类系统的配合改造，在吸收了老核心系统优点的基础上，兼顾了监管、市场、业务的诉求，功能更全面、技术更先进、理念更领先、可扩展性好。重点突出了“以客户为中心、以市场为导向”的战略理念，实现了更加优质智能的客户服务、更加全面精准的业务数据、更加灵活快速的产品创新、更加便捷高效的业务办理效率和多维科学的安全保护体系。

核心业务系统高可用建设目标

核心业务系统一直是银行IT系统中保障业务连续性要求的重要系统，监管提到的“商业银行应根据自身业务的性质、规模和复杂度制订适当的业务连续性规划。以确保在出现无法预见的中断时，系统仍能持续运行并提供服务，并通过采取相应技术措施降低业务中断的可能性和影响”，也是对核心业务系统的安全稳定高可用架构的监管要求。

正是基于业务连续性以及资源利用率考虑，重庆银行在新一代核心业务系统建设中选择以“同城应用级双活”模式为目标。应用级双活（Active-Active）就是在正常情况下，应用两个数据中心都是活动在线并提供服务的，是相对于传统应用主备模式（Active-Standby）的一种利用率、可用性更高的建设形式。

应用级双活模式，既两个数据中心所部署的核心业务系统是对等、不分主从、并同时提供对外服务的：在一个数据中心发生故障或灾难的情况下，同城数据中心仍然可以正常运行并对关键业务或全部业务实现接管，达到互为备份的效果。正常模式下两个数据中心的核心业务系统之间协同工作，并行对外提供服务，实现了对IT资源的充分利用，避免某个备份中心处于闲置状态，造成资源与投资浪费。因此应用级双活数据中心的服务能力往往双倍甚至数倍于主备数据中心模式。

核心系统的同城双活建设部署

在核心业务系统“应用级双活”部署阶段，重庆银行综合考虑了本行数据中心机房基础环境、网络、系统的特点以及第一批次中51套业务系统的相关特性，综合新一代核心业务系统建设目标和项目要求，最终在跨数据中心“OSPF动态路由+RHI健康路由注入”基础上，设计了独特的DLLB（多层业务调度）框架，并率先在国内城商行范围内使用了纯IP访问、动态分配负载方式的应用级双活建设部署方案。DLLB多层业务调度框架如下图所示。

图 DLLB多层业务调度框架

DLLB多层业务调度框架，就是在同城两个数据中心的核心网络层部署专用的全局调度负载均衡设备来专门处理跨数据中心的交易数据调度；在每个数据中心内的各业务生产区域，同样部署了区域负载均衡设备，用于对集群应用服务的负载均衡交付服务。

全局调度负载均衡设备和区域负载均衡设备通过完善的健康检查机制与负载分配机制协调工作：当部分应用节点发生异常时，区域负载均衡设备能够自动隔离故障节点，保障区域内业务系统运行的高可用性和稳定性；全局负载均衡设备将两个数据中心结合为一个有机整体，实现双中心同时承载业务，并作为另一个数据中心的灾备支持。

通过DLLB多层业务调度框架，实现了每个服务器节点安全独立运行，互不影响，同时实现节点的热插拔功能，方便系统维护调整。当某个数据中心出现整体故障时，只需秒级即可由同城数据中心完成整体业务接管；这种多层业务调度框架分别从跨中心的全局应用高可用层面和数据中心内部的本地应用高可用层面，为新一代核心业务系统的应用双活创造了实施条件。

综合来看，重庆银行新一代核心业务系统的DLLB多层业务调度框架具有如下优点：同城双数据中心采用三层网络互联，区域隔离，保障了每个数据中心及其功能区域的隔离，具有良好的安全特性；借助于“OSPF动态路由+RHI健康路由注入”技术，实现了跨中心负载均衡设备同步协调的高可用运行，技术框架稳定可靠；基于纯IP负载分配方案，能够有效减少核心业务系统开发阶段的相关改造工作量、优化项目实施进度，降低核心业务系统开发难度；基于纯IP流量分配引导方案，相较于基于域名的流量分配引导方式，在故障切换过程中更加迅速，可以将应急切换周期从分钟级下降至秒级。

2018年8月17日投产演练阶段，重庆银行新一代核心业务系统完成生产双活部署。8月17日至9月12日，对新一代核心双活运行模式和应急切换方案进行了最终测试。9月23日16时16分，新一代核心业务系统在双中心同时上线，同时提供交易服务。

结语：核心同城双活的效果

新一代核心业务系统上线后，通过收集负载均衡设备的运行日志进行分析发现，在现有分配参数下，主数据中心承载了51%~55%的核心交易，同城双活数据中心承载了49%~45%的核心业务交易，实现了核心业务应用同时提供服务的“双活”效果，并提升了资源利用效率。

新一代核心业务系统上线投产后，重庆银行在正常生产运行状态下组织了模拟交易异常的应急切换演练；当一个数据中心的核心系统部分交易运行缓慢时，为避免出现业务中断，保障业务持续运行，按照预案组织紧急切换，迅速将核心交易业务全部引导至另一个数据中心。整个过程中切换指令下发时间小于30秒，渠道类业务切换时间小于10秒，柜面业务切换时间小于1分钟，所有业务交易均无明显中断，实现了用户无感知的应急切换操作，达到了核心“双活”的设计目标。