textsum运行代码计划

最新推荐文章于 2024-04-04 09:45:52 发布
最新推荐文章于 2024-04-04 09:45:52 发布
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41267423/article/details/78896431
本文介绍了Google Brain的TextSum项目及其改进版本Pointer-Generator。后者解决了前者的一些问题，并提升了文本摘要的质量。此外，还分享了下载数据集及在Linux环境下使用Jupyter Notebook的经验教训。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、google brain的textsum

2、pointer-generator

后者是在前者的基础上进行的改进

血的教训：

  • 下载数据集

    • 一定要在网好且翻墙的状态下
    • linux环境下用jupyter notebook一定要用命令行下载数据，不要用upload
听我蒋蒋
关注
Tensor Flow textum 使用过程中 遇到的问题和解决
lcy408271618的专栏
08-31 2680
将textsum model的代码下载到本地（没保存到tensorflow安装目录中），按照“How to run"中的指导运行第一步： 文件结构： ./data: vocab ./textsum: BUILD data.py README.md seq2seq_attention.py batch_reader.py seq2seq_attention_decode.p
text_sum
03-09
安装最新的转换器源代码：pip3 install git + 安装相关软件包：pip3 install -r required.txt 从原始数据生成csv文件：python3 generate_csv.py 训练模型：python3 ./run_seq2seq.py --model_name_or_path t5-base --do_train --do_eval -任务总结--train_file data / training_data.csv --validation_file data / testing_data.csv --output_dir ./tmp/tst-摘要--overwrite_output_dir --per_device_train_batch_size = 4 --per_device_eval_batch_size = 4 --predict_w
textsum源码
caroline1994的博客
03-17 1676
哈哈哈 第一次写博客第一篇博客 记录下超级菜的我跑textsum源码的过程（都是坑 以及被自己蠢哭）刚接tensorflow和python 因为要做论文的实验所有好多东西不懂就直接拿源码来看的github上下载的源码，说要用bazel编译，没装这个东西，我直接在windows下装的tensorflw,但是因为参数都是通过FLAGE来传递的，跑一次之后再跑就不行了，好像说有冲突啥的 不太清楚 所以我...
textsum
tsf的博客
07-22 966
TypeError: a bytes-like object is required, not ‘str’TypeError: sequence item 0: expected str instance, bytes found RuntimeError: Coordinator stopped with threads still running: Thread-32[[ 21 21
textsum源码（三）
caroline1994的博客
04-10 688
忘记了还有一个小点data.py中建立词表的时候count是从0开始的，但是在统计的时候词表大小vsize=self._count，这样就导致vsize大小比实际单词数少了1个。在embedding的时候，embedding矩阵的大小设置的是[vsize,dim]，也比单词数少一个，这样可能导致有个单词找不到，我就出了这样的错：indice[58]=39997 not in [0,39997)应该...
自动文本摘要经典模型TextSum运行录（二）：数据处理
我心素已闲，清川澹如此
12-11 737
Textsum模型在toy dataset上的运行过程参见上一篇博文：Textsum运行录 为了进行更深入的实验，我们需要使用更大更有效的数据集，同时也需要将其他格式的原始数据集转换成Textsum模型可以读入的格式。这里我准备使用CNN新闻数据。我没有使用surmenok的数据转换代码（他那份代码实在是太长太难懂了），而是自己编写了一套工具。主要分为两个方面，一个是data数据集的构造，一个是v...