BERT学习汇总（视频）

Python自然语言处理-BERT模型实战 计算机博士，专注于机器学习与计算...

scBERT模型是2022年腾讯的Healthcare AI实验室研发的，它和基础BERT模型架构相似。和iSEEEK模型相比，它的策略是用上基因表达的数据，并把transformer块换成performer块。接下来仔细的看看它的设计策略，和关键部分的代码怎么实现的。

scBERT：基于深度学习的单细胞转录组分析工具 项目介绍 scBERT，由腾讯AI Lab Healthcare开发，是一款专为单细胞RNA测序数据设计的预训练语言模型。它利用transformer架构，旨在跨不同的组织、实验技术、疾病状态（如2型糖尿病和健康对照）以及器官识别细胞类型。scBERT展示出了强大的泛化能力，能够处理来自不同测序平台的数据，例如inDrop、CEL-Seq2、SMA...

遵循BERT的思路和范式，作者开发了一种新的统一架构scBERT（图1），它通过对数百万未标记的scRNA序列数据进行预训练，从不同来源的各种细胞类型中学习通用的scRNA序列知识，并通过简单插入分类器和微调参考数据集监督的参数来分配细胞类型。共表达基因具有更紧密的表达，基因的分布式表达已被证明有助于捕获基因-基因相互作用，scBERT有效地将Transformer的基因表达信息形式化，并在预处理后生成表示细胞特异表达的单个细胞特异嵌入（scBERT embedding）。

BERT(Bidirectional Encoder Representations from Transformers)是一个双向transformer编码器的言表示模型。。由Google公司的研发，BERT的出现使得我们能够在一个大的数据集上面训练好一个比较深的神经网络，简化了NLP任务的训练，又提升了它的性能，使得自然语言处理有了质的飞跃。

Bert-VITS2-ext是GitHub用户see2023开发的一个开源项目,基于Bert-VITS2进行拓展,目的是实现TTS(文本到语音)的同时生成同步的脸部表情和身体动画数据。该项目为语音合成技术开辟了新的应用场景,让虚拟形象可以更自然地"说话"。

在"深度学习经典模型之BERT(上)"我们描述了BERT基本信息、意义、与GPT和Transformer的区别、预训练、自监督等相关信息后，本章节将介绍BERT的输入、Encoder、微调及两个主流变种。

a1a_1a1​和a2a_2a2​这些权值也是根据具体的任务学习出来的。

受数据样本量小、人工干预多、过度依赖 marker gene（已报道的特异性基因）等因素的影响，单细胞测序细胞类型注释技术一直面临着泛化性、可解释性、稳定性均比较低的问题，现存的算法难以有更广泛的应用。随机选择来自Zheng68K数据集的10%、30%、50%、70%和90%的PBMC细胞作为用于微调的参考，而剩余的作为用于测试的查询样本。预测结果，真实分类对比，用人肝组织评估未知细胞类型鉴定，MacParland数据集，4种类型，每次从中取出一种类型进行，用于验证，其他用于训练。

基于单细胞RNA测序（scRNA-seq）数据对细胞类型进行注释是研究疾病进展和肿瘤微环境的前提。现有的注释方法通常存在缺乏精心整理的标记基因列表、处理批次效应不当以及难以利用潜在基因-基因交互信息的问题，削弱了这些方法的泛化性和鲁棒性。作者开发了一种基于预训练深度神经网络的模型，即单细胞双向编码表示转换器（scBERT），以克服这些挑战。遵循BERT的预训练和微调方法，scBERT通过在大量未标记的scRNA-seq数据上进行预训练，获得了对基因-基因交互的通用理解；

scLLM-基本概述

单细胞测序技术越来越流行，很多文章都在做单细胞测序数据的分析工作，在2022年腾讯AI实验室发表了一篇scBERT的文章，就是用深度学习模型对单细胞数据进行预训练，并进行下游任务设计，比如单细胞的类型注释任务。本文主要是记录我对这篇文章预训练和分类任务部分的理解与实现。旨在理解BERT模型框架在单细胞数据中的运用，并根据数据的生物学特征，进行模型框架的调整。

探索scRNA-seq数据的未来：scBERT 项目介绍 在单细胞转录组学的世界里，scBERT（single-cell Bidirectional Encoder Representations from Transformers）是一种创新的深度学习模型，旨在为单细胞RNA测序数据提供精确的细胞类型注释。受到大规模预训练语言模型的启发，scBERT通过无监督预训练获取基因间交互的理解，并在特定...

细胞-文本检索实现零样本细胞注释

做了什么？建立了一个基于超过3300万个单细胞数据细胞的生成式预训练transformer，主要同时学习细胞和基因的表达。意义是什么？促进预训练模型在各种不同任务中的应用，如细胞类型注释、基因扰动预测、批次校正和多组学集成等方面，展最终实现“通用预训练，按需微调”。话外：预训练模型到底是什么？自己练了一套花拳绣腿，但是自己修为不够，发挥不了这招式的威力，所以找高手传输内力，使得自己的花拳绣腿也威力强大起来了。

简单整理了一下单细胞大模型相关的文章，也方便自己刷手机的时候浏览下。

细胞表型参考图谱的构建（已有很多篇超百万级单细胞的多组学图谱），极大丰富了单细胞组学数据的数量和多样性，为研究复杂的细胞特性提供了巨大的数据资源。但是呢，虽然目前拥有丰富的数据，而且它们还在持续增长，但是目前的分析方法在捕捉各种大规模单细胞数据集的变化方面存在不足，不断的 push 新型计算策略的发展。Transformer 已成为其他领域基础模型的首选架构，因为它们能够泛化到异构的大规模数据集。Transformer 最初是为自然语言处理 （NLP） 任务而设计的，最近被用作跨领域关键基础模型。