ML.NET处理Transformer 模型，小白也能完成的机器训练之自然语言处理

这里假设我们的某个场景为：

用户进行答卷，我们需要根据用户的答卷内容给他标记为正向、负向、中性的词汇

每次人工标注就很麻烦，所以这里我们训练模型后，只需要将用户答卷内容丢给我们训练的模型，那么就能直接获取到用户的答卷内容属于哪种标签，之后可以做一些类似语义分析的大屏统计（后面会讲到如何进行语义分析）

我这里最开始用python试了下预训练Transformer模型，发现占用内存是真的高，感觉效率有点不尽人意

你们有兴趣的可以了解下python如何处理，其中model_name = "bert-base-chinese"

这个可以访问官网https://huggingface.co/下载到本地，这样会快一点，不过可能需要翻墙

进入官网后，首页输入框搜bert-base-chinese即可

python我研究的不深，你们自己了解就行，我也就做了个简单模型跑跑

后面选择使用ML.Net进行处理，效率快很多

与 Python 相比，ML.NET 在处理 Transformer 模型时可能会更快的原因可能有以下几点：

 1、编程语言和运行时性能：

Python 是一种解释型语言，而 .NET 是一种编译型语言。通常情况下，编译型语言的执行速度比解释型语言更快。此外， .NET 运行时也可以进行即时编译（JIT Compilation），将代码编译成本地机器码，提高了执行效率。

2、并行处理和多线程：ML.NET 在处理 Transformer 模型时可以利用 .NET 平台的多线程和并行处理功能，将计算任务分配到多个处理器核心上并发执