Core ML Tools 教程：Xcode 模型预览类型详解

Core ML Tools 教程：Xcode 模型预览类型详解

coremltools Core ML tools contain supporting tools for Core ML model conversion, editing, and validation. 项目地址: https://gitcode.com/gh_mirrors/co/coremltools

前言

在机器学习模型开发流程中，模型转换后的可视化预览是一个重要环节。Apple 的 Core ML Tools 提供了在 Xcode 中预览模型输出的功能，这对于开发者快速验证模型行为非常有帮助。本文将详细介绍 Core ML Tools 中支持的 Xcode 模型预览类型及其配置方法。

模型预览概述

当我们将训练好的模型转换为 Core ML 格式后，可以通过添加预览元数据和参数来配置 Xcode 中的预览功能。不同模型架构需要不同的预览类型设置，有些模型甚至不需要额外配置就能自动支持预览。

支持的预览类型

以下是 Core ML Tools 当前支持的主要预览类型：

1. 图像分割(Image Segmentation)

   • 预览类型：imageSegmenter
   • 需要提供标签和颜色编码
   • 输入：图像
   • 输出：多维数组

2. BERT问答(BERT QA)

   • 预览类型：bertQA
   • 无需额外参数
   • 输入：多维数组
   • 输出：多维数组

3. 姿态估计(Pose Estimation)

   • 预览类型：poseEstimation
   • 需要提供宽度乘数和输出步长参数
   • 输入：图像
   • 输出：多维数组

4. 图像分类(Image Classifier)

   • 预览类型：imageClassifier
   • 输入：图像
   • 输出：字典或字符串

5. 深度估计(Depth Estimation)

   • 预览类型：depthEstimation
   • 输入：图像
   • 输出：多维数组

图像分割模型预览配置

图像分割是计算机视觉中的常见任务，下面我们以 DeepLabV3 模型为例，展示如何配置其 Xcode 预览功能。

配置步骤

1. 加载已转换的模型

   mlmodel = ct.models.MLModel("SegmentationModel_no_metadata.mlpackage")
   

2. 设置预览参数

   labels_json = {
       "labels": ["background", "aeroplane", ..., "tvOrMonitor"],
       "colors": ["#RRGGBB", ...]  # 可选的颜色编码
   }
   

3. 添加预览元数据

   mlmodel.user_defined_metadata["com.apple.coreml.model.preview.type"] = "imageSegmenter"
   mlmodel.user_defined_metadata['com.apple.coreml.model.preview.params'] = json.dumps(labels_json)
   

4. 保存模型

   mlmodel.save("SegmentationModel_with_metadata.mlpackage")
   

Xcode 中的使用

1. 双击 .mlpackage 文件在 Xcode 中打开
2. 切换到 Predictions 标签页查看输入输出
3. 在 Preview 标签页中拖入测试图像即可查看分割效果

姿态估计模型预览配置

姿态估计模型如 PoseNet 可以检测人体关键点位置，其预览配置略有不同。

配置步骤

1. 加载模型

   model = ct.models.MLModel("PoseNetMobileNet075S16FP16.mlmodel")
   

2. 设置预览参数

   params_json = {
       "width_multiplier": 1.0,  # 控制模型宽度
       "output_stride": 16       # 控制输出分辨率
   }
   

3. 添加预览元数据

   model.user_defined_metadata["com.apple.coreml.model.preview.type"] = "poseEstimation"
   model.user_defined_metadata['com.apple.coreml.model.preview.params'] = json.dumps(params_json)
   

4. 保存模型

   model.save("posenet_with_preview_type.mlmodel")
   

Xcode 中的使用

1. 打开模型文件后，可以在 Preview 标签页中测试
2. 拖入包含人物的测试图像
3. 预览会显示两种模式：
   • Single：单人姿态估计
   • Multiple：多人姿态估计

最佳实践建议

1. 标签设计：对于分割模型，确保标签顺序与模型输出通道一致
2. 颜色选择：为不同类别选择对比明显的颜色以便区分
3. 参数调优：姿态估计模型的 output_stride 影响精度和性能，需要权衡
4. 测试图像：准备具有代表性的测试图像用于预览验证
5. 版本兼容：某些预览功能需要较新版本的 Xcode 支持

常见问题解答

Q：为什么我的模型在 Xcode 中没有预览选项？ A：可能原因包括：1) 未设置正确的预览类型；2) 模型架构不支持预览；3) 使用的 Xcode 版本过低

Q：预览参数是必需的吗？ A：视模型类型而定，如 BERT QA 和深度估计模型就不需要额外参数

Q：预览效果与实际运行效果有差异怎么办？ A：预览功能主要用于快速验证，最终应以实际集成为准

结语

通过 Core ML Tools 的 Xcode 预览功能，开发者可以在模型集成前快速验证其行为，大大提高了开发效率。掌握不同模型类型的预览配置方法，能够帮助我们在实际项目中更高效地使用 Core ML 框架。

coremltools Core ML tools contain supporting tools for Core ML model conversion, editing, and validation. 项目地址: https://gitcode.com/gh_mirrors/co/coremltools