1.安装正确版本
(1)下载IncrementalTraining分支代码GitHub - SergeiAlonichau/fastText at IncrementalTraining,或者下载资源;
(2)将上一步下载的zip进行解压,然后进入文件夹执行make操作即可;
仿照下面的示例,注意一定要是IncrementalTraining分支的代码
2.使用教程
当前版本代码新增了-nepoch、-inputModel两个参数。
-inputModel:指定需要继续训练的模型文件,不需要增量训练时不需要设置该参数。
-nepoch:指定该参数时每迭代一个epoch将会对模型保存一次,并且模型前缀为inputModel传入的参数。当nepoch为0时则不进行加载checkpoint,默认值为-1.
新增用途:
(1)在每轮epoch下可以进行增量训练和评估;
(2)可以通过分批训练来支持海量数据的训练;
(3)微调已经预训练好的模型。
3.使用示例
3.1 一般训练
执行命令