MLOps 实践：基于 TensorFlow 和 HuggingFace Transformers 的计算机视觉模型

MLOps 实践：基于 TensorFlow 和 HuggingFace Transformers 的计算机视觉模型

mlops-hf-tf-vision-models MLOps for Vision Models (TensorFlow) from 🤗 Transformers with TensorFlow Extended (TFX) 项目地址: https://gitcode.com/gh_mirrors/ml/mlops-hf-tf-vision-models

1. 项目基础介绍

本项目是一个开源项目，旨在展示如何使用 TensorFlow 和 HuggingFace Transformers (🤗 Transformers) 构建计算机视觉模型的机器学习管道（MLOps）。项目利用 TensorFlow Extended (TFX) 生态系统，包含了 TensorFlow Data Validation (TFDV)、Transform (TFT)、Model Analysis (TFMA) 以及 TensorFlow Serving 等工具。项目使用的主要编程语言是 Python 和 Jupyter Notebook。

2. 项目核心功能

项目的核心功能是构建一个完整的机器学习管道，包括以下几个关键步骤：

• 基础组件：使用 ExampleGen、Trainer 和 Pusher 组件，实现从原始数据集到模型训练再到模型部署的流程。
• 中间步骤：添加 SchemaGen、StatisticsGen 和 Transform 组件，用于分析数据集结构、统计特征数据以及数据预处理。
• 高级功能：引入 Resolver 和 Evaluator 组件，以便导入现有制品（如之前训练的模型），并比较两个模型（一个是来自 Resolver 的，一个是当前管道运行的）的性能。
• 超参数调优：通过添加 Tuner 组件，运行一系列不同超参数组合的实验，选择最佳的超参数组合用于训练模型。

3. 项目最近更新的功能

项目最近更新的功能主要集中在以下几个方面：

• 增强的管道扩展：在第三步的基础上，增加了对更多组件的支持，使得管道功能更加完善。
• 🤗 Hub 集成：增加了自定义 TFX 组件，用于与 HuggingFace Hub 集成。具体来说，使用 HFModelPusher 将训练好的模型推送到 HuggingFace Model Hub，以及使用 HFSpacePusher 自动部署 Gradio 应用到 HuggingFace Space Hub。

通过这些更新，项目不仅提高了模型的训练和部署效率，还增加了与 HuggingFace 社区的互动，使得研究成果能够更广泛地共享和利用。

mlops-hf-tf-vision-models MLOps for Vision Models (TensorFlow) from 🤗 Transformers with TensorFlow Extended (TFX) 项目地址: https://gitcode.com/gh_mirrors/ml/mlops-hf-tf-vision-models