使用GGML实现MNIST手写数字识别：从训练到推理全流程解析-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00722/article/details/148392811

使用GGML实现MNIST手写数字识别：从训练到推理全流程解析

ggml Tensor library for machine learning 项目地址: https://gitcode.com/gh_mirrors/gg/ggml

项目概述

GGML是一个专注于机器学习模型推理的轻量级库，特别适合在资源受限的环境中运行。本文将以经典的MNIST手写数字识别任务为例，详细介绍如何使用GGML完成从模型训练到推理部署的全过程。

MNIST数据集简介

MNIST数据集包含60,000个训练样本和10,000个测试样本，每个样本都是28x28像素的灰度手写数字图像(0-9)。这个数据集因其简单性和广泛性，成为机器学习入门的"Hello World"级任务。

环境准备

在开始之前，请确保已安装以下组件：

Python 3.x环境
PyTorch或TensorFlow(根据选择的训练方式)
GGML库及其依赖

全连接网络实现

模型训练

使用PyTorch训练一个简单的全连接网络：

python3 mnist-train-fc.py mnist-fc-f32.gguf

训练完成后，脚本会自动评估模型性能并保存为GGUF格式。典型输出如下：

Test loss: 0.066377+-0.010468, Test accuracy: 97.94+-0.14%

模型推理

使用GGML进行推理评估：

../../build/bin/mnist-eval mnist-fc-f32.gguf data/MNIST/raw/t10k-images-idx3-ubyte data/MNIST/raw/t10k-labels-idx1-ubyte

输出包含随机测试样本的可视化展示和模型预测结果：

________________________________________________________
________________________________________________________
__________________________________####__________________
______________________________########__________________
__________________________##########____________________
______________________##############____________________
____________________######________####__________________
__________________________________####__________________
__________________________________####__________________
________________________________####____________________
______________________________####______________________
________________________##########______________________
______________________########__####____________________
________________________##__________##__________________
____________________________________##__________________
__________________________________##____________________
__________________________________##____________________
________________________________##______________________
____________________________####________________________
__________##____________######__________________________
__________##############________________________________
________________####____________________________________
________________________________________________________
________________________________________________________

main: predicted digit is 3
main: test_loss=0.066379+-0.009101
main: test_acc=97.94+-0.14%

卷积神经网络实现

模型训练

使用TensorFlow训练卷积神经网络：

python3 mnist-train-cnn.py mnist-cnn-f32.gguf

CNN模型通常能获得更好的性能：

Test loss: 0.047947
Test accuracy: 98.46%

模型推理

同样使用GGML进行推理：

../../build/bin/mnist-eval mnist-cnn-f32.gguf data/MNIST/raw/t10k-images-idx3-ubyte data/MNIST/raw/t10k-labels-idx1-ubyte

硬件加速支持

GGML支持多种硬件后端加速，包括：

CPU原生实现
CUDA(NVIDIA GPU)
Metal(Apple GPU)
OpenCL(跨平台GPU)

可以通过指定后端参数来选择硬件加速方式。GGML会自动处理不支持的算子回退到CPU执行。

Web演示部署

GGML支持将模型编译为WebAssembly，在浏览器中运行：

准备模型和数据文件
使用Emscripten编译：

emcc -I../../include -I../../include/ggml -I../../examples ../../src/ggml.c ../../src/ggml-quants.c ../../src/ggml-aarch64.c mnist-common.cpp -o web/mnist.js -s EXPORTED_FUNCTIONS='["_wasm_eval","_wasm_random_digit","_malloc","_free"]' -s EXPORTED_RUNTIME_METHODS='["ccall"]' -s ALLOW_MEMORY_GROWTH=1 --preload-file mnist-f32.gguf --preload-file t10k-images-idx3-ubyte