大模型笔记【3】 gem5 运行模型框架LLama

一 LLama.cpp

LLama.cpp 支持x86，arm，gpu的编译。

1. github 下载llama.cpp

https://github.com/ggerganov/llama.cpp.git

2. gem5支持arm架构比较好，所以我们使用编译LLama.cpp。

以下是我对Makefile的修改

开始编译：

make UNAME_M=aarch64

编译会使用到aarch64-linux-gnu-gcc-10，编译成功可以生成一个main 文件，这里我把main重命名成main_arm_backup了。

可以使用file main查看一下文件：

3. 下载一个大模型的model到