前言

人工智能的发展成果在互联网行业得到了广泛的推崇和应用，各大巨头纷纷借助AI打造个性化、精细化的服务, 加速扩张生态领域。从推荐系统到实时风控，模型服务计算引擎在风控领域发挥着日益重要的作用。

在反欺诈AI全域治理三部曲（上/中）两篇文章中，从解决互联网欺诈问题的重要性、通用技术手段、应用场景视角进行分析，对原始案件数据标注来源、历史案件深度挖掘应用、专家经验规则自学习机制，风评模型可解释性说明等进行了简要的概括性介绍。本篇将就技术体系视角对模型实时计算预测服务，案件核准闭环运维思维作体系化梳理介绍。

一、模型实时计算预测服务

风控系统有规则和模型两种技术路线，规则的优点是简单直观、解释性强、配置灵活，缺点是容易被攻破，一旦被黑产经过多次试错就会绕过预先设定好的规则进而失效，实际的风控系统中，往往再结合上基于模型的风控环节来增加系统健壮性。
传统机器学习模型采用烟囱式开发、测试、部署上线模式，存在如下几点弊端：

1.训练数据准备工作需要手工完成。数据清洗和特征挖掘是模型训练的前期工作，既包括从原始数据清洗出特征数据，也包括对清洗出的特征进行处理。由于缺乏统一的特征管理平台，目前训练需要的原始数据仍需算法工程师自行收集、整理、清洗。

2.模型服务处于离线预测阶段。相对于离线预测，实时预测能结合用户的实时行为数据信息作出精细化预测，有效提高预测的准确性。但实时数据存在复杂、多变等特性，以及实时预测对性能上的要求更加严苛，工程技术门槛高，不少团队选择了相对容易实现的离线预测方式。

3.实时模型服务的开发周期长。实时模型服务离不开实时特征准备、业务逻辑开发、模型调用开发等步骤。实时特征一般由各项目的开发工程师自行维护，不可避免地存在特征重复开发的现象，带来开发资源和存储资源的浪费。此外，一个预测场景一般由一个模型服务提供支持，新的模型服务需求需要完全从头开始开发，开发周期较长。

4.流批一体架构较完美地实现方式：采用流计算 + 交互式分析双引擎架构，在这个架构中，流计算负责的是基础数据，而交互式分析引擎是中心，流计算引擎对数据进行实时ETL工作，与离线相比，降低了ETL过程的latency，交互式分析引擎则自带存储，通过计算存储的协同优化，实现高写入TPS、高查询QPS和低查询latency ，从而做到全链路的实时化和SQL 化，这样就可以用批的方式实现实时分析和按需分析，并能快速的响应业务的变化，两者配合，实现1+1>2的效果 。

针对以上行业现状和弊端，提供一体化流批混合模型实时计算预测服务能力势在必行，全面考虑实际应用的业务场景与技术指标要求，为场景计算、模型服务提供高效可靠的基础设施平台。

基于消息驱动模式动态解析加载模型文件，准确还原运行时模型流程，构建高并发、低延时、高可用模型实时预测服务。

支持主流AI算法，包括特征工程算法、分类器算法、回归算法，无监督算法等。

提供毫秒级实时计算服务，高效满足在线实时模型引擎特征计算要求。

从设计、架构、功能、性能层面分析，具体应包括如下特性：

• 模型性能：提供高并发、低延时、高可用实时预测服务。99.99%请求延时在百毫秒以内，TPS达到万级以上；
• 高可用保障：提供高可用计算能力。保障在部分节点故障情况下，计算引擎正常提供计算服务能力；
• 模型流程重放：支持基于消息驱动模式动态更新模型算法流程，并高效生成相关算法组件运行时实例，提供实时特征转换计算；
• 特征算法类型：支持常见特征工程算法，包括特征编码、特征转换、特征降维、特征融合等；
• AI算法类型：支持常见分类器、回归、无监督算法，包括但不限于线性回归，Logistic、TreeModel、Graph、Logistic、SVM、NN、kmeans、DBSCan等；
• 文件类型：支持多种模型文件格式，如PMML、Python文件、Parquet等；
• 系统监控：支持数据流链路性能监控、服务组件监控、客户端调用监控、系统资源利用率监控等；
• 动态扩容：在服务不间断前提下，实现系统动态扩容能力；
• 数据预热：提供基于事件时间数据处理能力，实现历史数据预热。

二、案件核准闭环运维思维

物理学熵增定律告诉我们，在一个孤立系统里，如果没有外力做功，其总混乱度（熵）会不断增大。比如物质总是向着熵增演化，屋子不收拾会变乱，手机会越来越卡，耳机线会凌乱，热水会慢慢变凉，太阳会不断燃烧衰变……直到宇宙的尽头——热寂。

在反欺诈领域，任何优秀的模型随着业务平台发展、行为路径的变化、欺诈模式演进，模型局限性问题会逐步放大，模型预测效果必然趋于平庸化。通过周期性投入算法研究员去优化已有模型，是一种既不优雅也不经济的运作方式。从平台层面提供疑似样本核准技术和机制，将核准后的案件样本通过机器学习采样技术采集到模型训练集，可以有效解决样本失效问题，及时更新欺诈样本到模型训练集，持续保障模型训练、预测效果。

疑似样本核准技术支持体系包括但不限于：OLAP在线分析、实时报表、用户画像标签、团伙欺诈图谱、样本边缘采样、样本染色等技术，可以有效降低人工审核成本，缓解繁琐工作压力，提升标注效率和效果。

• 用户画像标签分多级标签体系，包括基础类标签、实体关联类、滑窗类等。
• 基础特征类标签：包括设备类型、设备品牌、设备网络制式、手机号、证件类型、证件号、产品、渠道、地理位置等；
• 实体关联特征类标签：空间网络特征类标签，Session特征类标签，包括关联设备关联账号、账号操作设备、账号-设备网络拓扑度等；
• 滑窗特征类标签：时序特征类标签包括常用IP、常用设备、常用账号、常在地、各场景常用渠道、各场景偏好时间、行为序列频次、属性偏好等；
  团伙欺诈图谱社区集聚度度量指标包括关联度，中心度、网络聚类、PageRank。
• 关联度指标：一度的关联度即是指一个节点和多少个其他节点相邻。如果是有向网络，还可细分为入度和出度，分别对应链入和链出的节点数。二度关联度则是指介由一个中间节点相关联的节点数。一度，二度关联的关联度在反欺诈的场景中的使用非常的广泛；
• 节点重要性的指标是中心度（Centrality）: 比如介数中心度，特征向量中心度等等。介数中心度度量对于一个节点X，多少其他节点对之间的最短路径必须介由X。特征向量中心度则可以认为是一度关联度的一种延伸，当考虑一个节点的重要性时，不止考虑他有多少个邻接节点，还要考虑这些邻接节点的重要性；
• 网络聚类：物以类聚，人以群分，考察和一个节点有紧密联系的其他节点所构成聚类的共性，往往对研究该节点的特性有很强的指导性，基于少量数据标签标注算法包括标签传播算法、Triangle count、Connected components等。

三、芯盾时代机器学习引擎

芯盾机器学习引擎提供了集体系化风控模型、全生命周期管理、模型实时服务的一体化解决方案。

1.体系化风控模型

异常检测模型：通过无监督方式，有效解决群体类和个体类欺诈检测问题，捕获新型欺诈样本，为案件平台提供新型欺诈样本。

深度欺诈检测模型：综合学习增量欺诈案例和历史欺诈案例，深度挖掘新型非线性高维组合欺诈特征，提升有效欺诈检测率、降低误判率。

阈值-权重动态学习模型：通过增量学习新型欺诈案例，动态调整规则集中具体规则的阈值和权重配比，持续优化风评引擎结果准确率和时效性问题。

用户画像和欺诈关联图谱：从多业务维度聚合指标和团伙网络欺诈角度提供了可视化结果分析工具，为模型预测结果判断提供科学决策辅助支撑。

2.全生命周期管理

依托于案件核准技术和运行机制，持续化迭代更新训练集。通过模型监控、模型训练、模型优选、模型发布、模型优化等生命周期管理功能，实现从微观层面规则调整运维跃升为基于模型生命周期宏观管理机制。

3.模型实时服务

芯盾模型在线服务引擎，基于kappa架构设计理念，提供集高并发、低延时、高可用、易扩展、热部署等特征于一体的实时特征计算、模型预测服务能力，高效实现事中风险事件评估反馈。