Deep Structured Semantic Models (DSSM) 训练、测试、部署指北

最新推荐文章于 2024-09-04 07:13:53 发布

原创

最新推荐文章于 2024-09-04 07:13:53 发布 · 751 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#DSSM #自然语言处理 #NLP #语义相似度

本文档提供Deep Structured Semantic Models (DSSM)的训练、测试和部署流程。项目源代码链接和BERT权重已给出，训练环境中需按指定方式安装依赖。训练时使用的是默认的LCQMC数据集，需修改配置文件中的BERT权重路径。测试阶段，直接使用LCQMC验证集，删除多余列，模型表现良好。部署时参照相关教程，但多进程运行可能出现问题，建议单线程运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、项目地址

代码：https://github.com/InsaneLife/dssm

权重：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

二、环境

项目里面的requirements太坑了

Package             Version
------------------- -------------------
absl-py             0.12.0
appdirs             1.4.4
astor               0.8.1
Babel               2.9.0
bce-python-sdk      0.8.59
cached-property     1.5.2
certifi             2020.12.5
cfgv                3.2.0
chardet             4.0.0
click               7.1.2
cma                 3.0.3
colorama            0.4.4
colorlog            5.0.1
contextlib2         0.6.0.post1
coverage            5.5
cycler              0.10.0
Cython              0.29.23
dataclasses         0.8
decorator           4.4.2
distlib             0.3.1
filelock