千问大模型部署

参考链接：https://zhuanlan.zhihu.com/p/19698254692

tips：部署比较简单，除去上述教程中的步骤外，该文章主要是想记录过程中遇到的问题。因为我是双平台（arm/x86）部署，x86在python3.xx版本成功部署后，将dockerfile拿到aarch64机器上尝试时，发现失败了，原因为pytorch版本不匹配。在aarch64环境下，pytorch不需要单独pip install，而是包含在python里。这里我的解决方案是，将两个平台的python环境都改为，且在安装完python后执行pip uninstall torch torchaudio，再重新下载，这样就会得到相匹配的版本。