BLOOM模型结构详解

已于 2023-04-26 14:18:07 修改
阅读量1.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： transformer模型 文章标签： 深度学习 BLOOM transformer nlp 语言模型
于 2023-04-18 17:42:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20986663/article/details/130227263
本文详细介绍了BLOOM语言模型的结构，包括ALiBi Positional Embeddings和Embedding LayerNorm两个优化点，对比了与GPT模型的区别，并分析了在FT框架中的推理实现。BLOOM在Megatron的GPT-2代码基础上修改，采用不同于传统Transformer的位置嵌入和额外的归一化层，提供更稳定和高效的训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》

论文地址: https://arxiv.org/pdf/2211.05100.pdf

代码地址: transformers库-modeling_bloom.py

BigScience 官方提供的代码链接并没有找到完整的模型实现代码，只有提示说模型结构代码是在 Megatron 的 GPT-2 代码基础上修改的。

BLOOM模型结构

bloom_architecture

BLOOM 的完整架构图

BLOOM 模型也是 Decoder-only 架构，但和原始 transformer-decoder 结构有所区别，上图红色框框出来的是 两个优化地方，具体来说:

    了解本专栏 订阅专栏 解锁全文 超级会员免费看
    全面解析开源大语言模型：BLOOM
    一览无遗
    01-25 6059
    BigScience 大型开放科学开放获取多语言模型（简称 BLOOM）代表了语言模型技术民主化的重大进步。BLOOM由来自39个国家的1200多名参与者共同开发，是全球努力的产物。该项目由 BigScience 与 Hugging Face 和法国 NLP 社区合作协调，超越了地理和机构的界限。它是一个开源的、仅解码器的转换器模型，具有 176B 参数，在 ROOTS 语料库上训练，该语料库是 59 种语言的数百个来源的数据集：46 种口语和 13 种编程语言。下面是训练语言分布的饼图。
    BLOOM 模型的核心原理、局限与未来发展方向解析
    hello.reader
    10-06 2335
    BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）是一款由多个国际研究团队联合开发的大型语言模型。BLOOM 模型旨在通过先进的 Transformer 架构处理复杂的自然语言生成与理解任务。它支持多语言生成，能够处理多种文本任务，如文本生成、机器翻译、文本摘要等。BLOOM 的设计使其能够在各类任务中实现高效、自然的文本生成，并展现出卓越的性能。
    Bloom Filter 结构
    点滴积累，构建知识体系
    09-24 286
    0.0 应用背景 布隆过滤器（Bloom Filter），1970 年由 Burton Howard Bloom 在论文《Space/Time Trade-offs in Hash Coding with Allowable Errors》提出。布隆过滤器是一种基于 Hash 的高效查找结构，能够快速（常数时间内）回答“某个元素是否在一个集合内”的问题。From《区块链技术指南》判断一个元素是否...
    轻松玩转开源大语言模型bloom（一）
    热门推荐
    轻舟已过万重山的博客
    03-07 1万+
    文字生成？知识问答？手把手带你体验人人都能玩的开源大语言模型。
    LevelDB：Bloom源码精读——数据结构
    weixin_33739523的博客
    02-18 168
    一、原理分析 BloomFiler(布隆过滤器)是由Howard Bloom在1970年提出的二进制向量数据结构，怎么来理解“二进制向量数据结构”？ 我们将其分解成“二进制”、“向量”和“数据结构”来分别理解。 1、二进制：用0和1来表示的数。 2、向量：是指位向量或者比特向量，即向量的坐标系的X轴是位列(连续的内存地址)，Y轴是0和1两个值。 3、数据...
    【自然语言处理】【大模型】BLOOM：一个176B参数且可开放获取的多语言模型
    bqw的博客
    02-06 6476
    ​ 预训练语言模型已经成为了现代自然语言处理pipeline中的基石，因为其在少量的标注数据上产生更好的结果。随着ELMo、ULMFiT、GPT和BERT的开发，使用预训练模型在下游任务上微调的范式被广泛使用。随后发现预训练语言模型在没有任何额外训练的情况下任务能执行有用的任务，进一步证明了其实用性。此外，根据经验观察，语言模型的性能随着模型的增大而增加(有时是可预测的，有时是突然的)，这也导致了模型规模越来越多的趋势。抛开环境的问题，训练大语言模型(LLM)的代价仅有资源丰富的组织可以负担的起。
    布隆过滤器（Bloom Filter）详解
    天冬忘忧的博客
    10-10 2178
    布隆过滤器是 1970 年由布隆提出的，它实际上是一个很长的二进制向量和一系列随机映射函数组成，主要用于判断一个元素是否在一个集合中。它不存储数据本身，仅存储哈希结果取模运算后的位标记，因此占用内存小，适合海量数据场景。其优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
    主流开源大模型介绍ChatGLM,LLaMA,Baichuan,BLOOM
    06-25
    **模型结构与特点** - **Embedding层梯度缩减**：为了提升训练稳定性，模型减少了embedding层的梯度，从而减小了梯度的范数。 - **Layer Normalization**：采用了基于Deep Norm的post layer norm策略。 - **激活...
    面试必会：海量数据处理方法总结与Bloomfilter应用详解
    - Bloom Filter是一种空间效率极高的数据结构，用于判断一个元素是否在一个集合中，它通过多个哈希函数将元素映射到位数组。优点是空间节省，但不保证结果的绝对正确性，可能存在误报。错误率可通过选择合适的哈希...
    BigScience bloom模型
    绀目澄清
    02-26 7001
    BLOOM 的英文全名代表着大科学、大型、开放科学、开源的多语言语言模型。BLOOM 是去年由 1000 多名志愿研究人员,学者 在一个名为“大科学 BigScience”的项目中创建的.BLOOM 和今天其他可用大型语言模型存在的一个主要区别：该模型可以理解多达 46 种人类语言，包括法语、越南语、普通话、印度尼西亚语、加泰罗尼亚语、13 种印度语言（如印地语）和 20 种非洲语言。超过 30% 的训练数据是英文的。该模型还可以理解 13 种编程语言。
    【大语言模型-4】BLOOM模型
    最新发布
    m0_69378371的博客
    02-28 1020
    BLOOM（BigScience Large Open-science Open-access Multilingual）是一个开源的多语言大规模语言模型，旨在推动自然语言处理领域的开放科学和合作。通过支持 46 种语言，BLOOM 在文本生成、翻译、问答等多种 NLP 任务中表现出色。作为一个完全开源的模型，BLOOM 提供了巨大的研究和应用潜力，同时也促进了 AI 社区的透明性、协作和公平性。
    尝试了一个自然语言模型BLOOM
    xuzhougeng blog
    06-28 3818
    可以和GPT-3匹配的模型
    全面解析开源大语言模型：BLOOM_bloom 模型，2024年最新5214页PDF的进阶架构师学习笔记
    2401_84264630的博客
    04-13 2063
    BigScience 大型开放科学开放获取多语言模型（简称 BLOOM）代表了语言模型技术民主化的重大进步。BLOOM由来自39个国家的1200多名参与者共同开发，是全球努力的产物。该项目由 BigScience 与 Hugging Face 和法国 NLP 社区合作协调，超越了地理和机构的界限。它是一个开源的、仅解码器的转换器模型，具有 176B 参数，在 ROOTS 语料库上训练，该语料库是 59 种语言的数百个来源的数据集：46 种口语和 13 种编程语言。下面是训练语言分布的饼图。
    使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
    Hugging Face
    01-31 1211
    本文展示了如何使用 1760 亿 (176B) 参数的 BLOOM 模型[1] 生成文本时如何获得超快的词吞吐 (per token throughput)。因为在使用 bf16 (bfloat16) 权重时该模型内存占用为 352 GB (176*2)，所以最高效的硬件配置是使用 8x80GB 的 A100 GPU。也可使用 2x8x40GB 的 A100 或者 2x8x48GB 的 A6000...
    Bloom
    3D编程之旅
    07-30 2466
    Bloom 高斯模糊effect有各种各样的应用。比如，可以用于区分场景中背景objects（通过模糊处理使得objects呈现出一种失去焦点的现象）和前景objects（没有模糊处理）。另外还可以用于bloom（曝光） effect中，一种bloom effect通过增强场景中明亮的区域来模拟真实世界中的照相机。图18.6显示了在一个场景中使用曝光（上图）和不使用曝光effect的输出结果。
    早期超大规模语言模型的尝试——BLOOM模型论文解读，附使用MindSpore和MindNLP的模型和实验复现
    qq_51957239的博客
    11-21 1368
    BLOOM是由BigScience社区开发和发布的，也是第一个开源开放的超过100B的语言模型。BLOOM 本身是变换器网络Transformer解码器（Decoder-Only）模型，在一个称之为ROOTS的语料库上训练出来的176B参数规模【和 GPT-3一样的规模】的自回归语言模型。训练 BLOOM 的算力成本超过300万欧元，由CNRS 和 GENCI提供，训练模型的机器是法国巴黎的Jean Zay超级计算机。BLOOM是在2021年5月至2022年5月的一年时间里完成训练并发布的。
    AI模型：开源大语言模型bloom学习
    GIS摆渡人
    06-13 1549
    chatgpt已经成为了当下热门，github首页的trending排行榜上天天都有它的相关项目，但背后隐藏的却是openai公司提供的api收费服务。作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。bloom是一个开源的支持最多59种语言和176B参数的大语言模型。
    [Python]BLOOM模型推理简介
    农家小舍
    07-16 921
    介绍了bloom模型如何通过pytorch、deepspped（ds zero）进行推理
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    嵌入式视觉

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值