搭配Sentence-transformers环境ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found

根据您提供的错误信息，看起来是加载模型时出现了一些问题。具体来说，这个错误是由于加载了一个具有自定义代码的模型，并且在加载时没有明确指定修订版本。为了确保没有恶意代码被贡献到较新的修订版本中，建议显式地传递一个`revision`参数。 您可以尝试以下解决方法： 在`web_demo.py`文件中，将以下代码行： ```python tokenizer = AutoTokenizer.from_pretrained("/home/nano/THUDM/chatglm-6b", trust_remote_code=True) ``` 替换为： ```python tokenizer = AutoTokenizer.from_pretrained("/home/nano/THUDM/chatglm-6b", trust_remote_code=True, revision="main") ``` 这样会明确指定修订版本为"main"，以避免加载模型时出现安全问题。请确保您已经下载了正确的模型文件并将路径指向正确的位置。 如果问题仍然存在，请提供更多详细信息，以便我能够更好地帮助您解决问题。

### Hugging Face模型加载失败的原因分析 当尝试加载 `sentence-transformers` 的预训练模型时，可能会遇到诸如 `MaxRetryError` 或者 `HTTPSConnectionPool` 错误的情况。这些错误通常表明网络连接存在问题或者本地环境配置不当。 #### 可能原因及解决方案 1. **网络问题** 如果出现类似于 `MaxRetryError: HTTPSConnectionPool(host='huggingface.co', port=443)` 的错误，则可能是由于无法访问 Hugging Face 的服务器引起的。可以考虑通过代理设置解决问题[^1]。 ```python import os os.environ['HTTP_PROXY'] = 'http://your-proxy-url:port' os.environ['HTTPS_PROXY'] = 'https://your-proxy-url:port' ``` 2. **缓存文件损坏** 当前环境中可能已经存在部分下载但未完成的模型文件，这可能导致加载失败。可以通过清除缓存目录并重新下载模型来修复此问题。 ```python from sentence_transformers import SentenceTransformer cache_dir = "/path/to/cache" model_name = "all-MiniLM-L6-v2" try: model = SentenceTransformer(model_name, device="cuda", cache_folder=cache_dir) except Exception as e: print(f"Exception occurred: {e}") # 清除缓存后再试一次 import shutil shutil.rmtree(cache_dir, ignore_errors=True) model = SentenceTransformer(model_name, device="cuda", cache_folder=cache_dir) ``` 3. **硬件加速支持不足** 使用 GPU 加载模型时如果设备不支持某些优化指令集（如 AVX512-VNNI），则可能出现兼容性问题。此时可以选择禁用特定优化功能或将模型转换为 ONNX 格式以提高性能和兼容性。 #### 转换为ONNX格式 将 PyTorch 模型导出为 ONNX 并用于推理能够有效减少对高级 CPU/GPU 特性的依赖： ```bash python -m transformers.onnx --model=all-MiniLM-L6-v2 ./onnx_output/ ``` 随后利用 ONNX Runtime 进行部署: ```python import onnxruntime as ort session = ort.InferenceSession("./onnx_output/model.onnx") input_ids = ... # 输入数据准备 outputs = session.run(None, {"input_ids": input_ids}) ``` 4. **内存不足** 若运行过程中提示 CUDA out of memory，则需调整 batch size 或降低精度至 FP16 来节省显存空间: ```python model = SentenceTransformer("all-MiniLM-L6-v2", device="cuda").half() ``` ### 总结 上述方法涵盖了从基础网络配置到复杂硬件适配等多个层面的技术手段，适用于大多数因外部条件引发的 Hugging Face 模型加载异常情况。