认知技术的数据准备与应用实践

### 认知技术的数据准备与应用实践 #### 1. 认知技术工具选择 在认知技术领域，像 SAS 和 IBM 的 SPSS 等公司提供了丰富的工具。例如，SAS Enterprise Miner 产品中提供机器学习和神经网络分析功能已有二十多年，同时也能用 SAS 技术构建深度学习模型。如果公司员工对这些工具经验丰富且使用顺手，那么选择这些工具可能是最佳方案。 一般而言，若企业计划将认知技术作为核心能力，并体现在多个项目、流程和产品中，那么有必要建立内部专业知识，涵盖专有技术和开源技术。但如果认知应用只是次要或一次性的，那么应尽可能利用外部技术和服务来实现。 #### 2. 数据准备的重要性 优质且丰富的数据是有效部署认知技术的先决条件，尤其是对于基于机器学习的应用，高质量、大容量的数据尤为重要。数据质量要求数据在整个组织内干净、一致且整合良好。 然而，大型组织很少能达到这一理想状态。公司存在大量数据质量问题，很多问题源于一线员工输入数据时产生，且当时缺乏足够的技术或流程来解决。此外，公司往往有多个关键数据来源，这可能是因为业务部门和职能相对独立，或者是因为收购或合并了拥有不同数据库或数据架构的其他组织。解决这些问题既耗时又费力，许多组织对数据管理工作失去了耐心。 传统上，这些问题主要通过自上而下的数据管理框架来解决，最初称为信息工程，现在更多地被称为主数据管理。这些框架明确组织内的关键数据实体及其与其他实体的关系，目标是创建一组在整个组织内正确且一致的“黄金记录”。当公司发现关键实体有多个数据源时，会开展“数据掌握”活动，使用规则引擎匹配相似数据。但通常需要大量规则，且与手动匹配相比，数据掌握节省的时间并不多。 不过，AI（尤其是机器学习）有望解决这些问题。著名数据库技术开发者 Mike Stonebraker 认为，通过机器学习进行“概率匹配”比基于规则的方法更高效。其他自动化或半自动化技术也能辅助数据编目、跟踪数据来源和执行数据治理规则。对使用数据进行 AI 应用感兴趣的公司应考虑采用这些工具。 #### 3. 蒙特利尔银行的数据基础建设 蒙特利尔银行金融集团（BMO）是加拿大“五大银行”之一，也是北美十大银行之一，在美国也有重要业务。 过去几年，在技术与运营主管 Jean - Michel Arès 和首席数据官 Francois Joanette 的领导下，BMO 对其技术基础设施进行了一系列改造。与许多大型银行一样，遵守监管要求是首要任务，同时银行也需要更新数据存储和报告的基本流程。数据科学和认知技术虽受银行关注，但由于它们严重依赖大量高质量数据，因此这些新技术需等待基础设施改善。 到 2017 年，许多必要的基础设施改进已完成，BMO 开发了一个智能数据核心，以支持未来的分析、数据科学和认知活动。该智能核心包括数据记录供应、参考数据、数据治理（银行内有十七个治理社区）和元数据中心。银行通过数据重用和数据仓库合理化已节省了超过 1 亿美元。核心的“智能”方面包括一个数据科学平台，其中有分析沙箱和用于机器学习的开源软件，以及用于机器人流程自动化的软件。 BMO 的数据驱动活动目标已从主要的防御性应用（监管、安全和风险）转向以客户获取和增长为导向的进攻性应用。公司专注于客户旅程分析、更好地管理客户线索和非结构化客户数据分析等项目。银行在额外收入方面获得的价值已数倍于数据合理化节省的成本。 在认知技术方面，机器学习和机器人流程自动化是银行的主要关注点。机器学习用于客户细分和欺诈预防，机器人流程自动化用于驱动涉及与多个信息系统交互的高度结构化后台流程。例如，银行在高风险调查领域部署了一个 RPA 机器人，它可以收集数据并对案件进行优先级排序，以便人工干预。传统的 RPA 还通过光学字符识别功能将图像转换为文本，并利用机器学习读取非结构化文本、评估和批准决策、跨数据库匹配数据以及将案件分配给最合适的员工。 BMO 对 RPA 的机会持积极态度，但 Arès 和 Joanette 认为，这对 IT 基础设施和业务流程都有重大影响。在基础设施方面，由于 RPA 机器人作为多个后端系统的用户，更改这些系统意味着 RPA 系统也需要更改。如果没有详细的文档说明系统之间的链接以及谨慎的变更管理，架构可能会陷入混乱。在流程方面，RPA 不仅为银行提供了自动化现有流程的机会，还能在实施过程中改进这些流程。幸运的是，与许多公司不同，BMO 当前的业务流程有详细的文档记录。 这些新能力促使 BMO 高管考虑为数据科学和认知技术建立新的组织结构。到目前为止，高级分析和认知专业人员大多分布在各个职能部门和业务单元。但随着这些专家对银行未来的重要性日益增加，人们开始讨论对他们的活动进行更集中的协调。虽然不太可能成立一个完全集中的数据科学团队，但地方职能部门的数据科学家可能会在一定程度上与技术和运营团队进行矩阵式合作。 下面用 mermaid 流程图展示 BMO 的数据驱动活动转变： ```mermaid graph LR A[传统防御性应用] --> B[数据基础设施改进] B --> C[智能数据核心建设] C --> D[进攻性应用：客户获取和增长] D --> E[机器学习应用：客户细分、欺诈预防] D --> F[RPA 应用 ```