- 博客(449)
- 资源 (42)
- 收藏
- 关注
原创 AI大模型:(二)4.3 文生图代码训练实践-真人写实生成
本文介绍了Stable Diffusion 1.5模型的微调方法,重点对比了全参微调和LoRA微调两种方式。主要内容包括:1) 模型结构解析,包括文本编码器、U-Net扩散模型和VAE自编码器;2) 数据准备流程,使用WebUI进行图像裁剪和自动标注;3) 两种微调实践:全参微调虽效果显著但易导致灾难性遗忘,而LoRA微调仅需少量数据即可实现风格迁移且不影响原模型能力;4) 完整代码实现,涵盖环境配置、数据处理、模型训练和推理全流程。实验表明,LoRA方法在保持模型泛化能力的同时,能以更低计算成本实现个性化
2025-08-10 09:36:38
14
原创 k8s pvc是否可绑定在多个pod上
PVC能否被多个Pod共享取决于其访问模式:ReadWriteOnce(RWO)仅限单节点上的Pod使用,适用于本地存储;ReadOnlyMany(ROX)允许多Pod只读访问,适合共享静态资源;ReadWriteMany(RWX)支持多Pod读写,需配合NFS等共享存储;新增的ReadWriteOncePod(RWOP)则严格限定单Pod使用。通过yaml配置accessModes为ReadWriteMany即可实现PVC多Pod共享。
2025-07-23 13:19:05
287
原创 AI大模型:(二)4.2 文生图训练实践-真人写实生成
本文介绍了Stable Diffusion模型微调的方法和工具安装流程。主要内容包括:1.模型选择对比了主流文生图模型,推荐开源的Stable Diffusion;2.详细介绍了Textual Inversion、Hypernetwork和LoRA三种微调方法;3.提供了Stable Diffusion WebUI和Kohya_ss工具的安装指南;4.讲解了数据集准备、处理及标注方法;5.推荐了8款适合人像生成的底模型;6.对比了三种训练方法的实际效果,LoRA表现最佳;7.介绍了使用R-ESRGAN4x+
2025-07-09 23:55:40
123
原创 k8s Mutating Admission Webhook 实现超卖
摘要:MutatingAdmissionWebhook是Kubernetes中用于拦截和修改API请求的插件,本文介绍了如何利用它实现CPU资源超卖功能。通过拦截Pod创建请求,获取节点资源分配情况,并设置超卖比例(如110%),当总请求超过物理容量时自动拒绝或调整请求。实现步骤包括开发Webhook核心逻辑、配置TLS认证、注册Webhook配置以及部署测试。该方法可与调度器插件配合,实现精细化的资源管理,同时建议结合Prometheus进行监控告警。(149字)
2025-07-08 11:11:59
941
原创 AI大模型:(二)1.5 Stable Diffusion中文文生图模型部署
Stable Diffusion 是一种先进的文本到图像(Text-to-Image)生成模型,由 Stability AI 开发,基于扩散模型(Diffusion Model) 技术。该模型能够根据用户输入的自然语言描述(Prompt)生成高质量、多样化的图像,适用于艺术创作、设计辅助、广告素材生成等场景。受到数据集的影响,市面上多是英文闻声图模型,本次部署一款Stable Diffusion中文文生图模型尝尝鲜。
2025-07-04 17:24:58
170
原创 阿里云 JupyterLab/Notebook 在独立 Python 环境使用
本文介绍了在Jupyter Notebook中使用Python虚拟环境和Conda环境的两种方法。对于Python虚拟环境,需创建venv、安装IPykernel并注册到Jupyter;对于Conda环境,需安装Miniconda(可选)、创建环境并注册内核。两种方法最后都通过Jupyter右上角切换内核完成环境变更。操作步骤包含Linux和Windows系统的命令差异,为不同Python环境管理提供了完整解决方案。
2025-07-04 15:06:17
320
原创 如何读取运行jar中引用jar中的文件
本文解决了在SpringBoot项目中读取common包资源文件的通用方案,针对三种运行场景提供了不同的处理方式:1)IDEA运行时识别classes路径;2)独立jar运行时通过JarFile获取资源;3)SpringBoot嵌套jar运行时采用多层解析机制。核心方法是通过ProtectionDomain获取代码源路径,区分不同运行环境后,分别使用copyResourcesFromJar或copyResourcesFromMultipleJar方法进行资源复制。方案实现了资源文件的自动提取和目录创建,并处
2025-06-30 13:42:05
178
原创 git lfs 提交、拉取大文件
GitLFS是管理Git大文件的扩展工具,使用流程包括:安装后通过git lfs track指定要跟踪的文件类型,提交.gitattributes文件;然后像普通文件一样添加提交大文件并推送。若忘记设置LFS跟踪,需先移除文件再重新跟踪。推送失败时可尝试git lfs push --all。最佳实践建议项目初期设置LFS,明确跟踪规则,注意各平台存储配额差异(如GitHub免费1GB存储)。对于已提交的大文件需特殊处理。
2025-06-29 21:55:19
465
原创 AI大模型:(二)4.1 文生图(Text-to-Image)模型发展史
文生图(Text-to-Image)技术实现了从GAN到Diffusion模型的跨越式发展,Stable Diffusion的开源推动AI创作大众化,DALL·E 3和MidJourney V6等工具模糊了人机创作边界。CLIP模型、Latent Diffusion和DiT架构等关键技术突破,使AI生成内容达到前所未有的质量与效率。该技术已从艺术设计延伸至教育、医疗等领域,持续推动人机协作模式的创新演进。
2025-06-18 17:12:00
142
原创 AI大模型:(二)3.3 transform+LoRA代码微调deepseek-r1实践
LoRA(低秩适应)是一种高效微调大规模预训练模型的技术,通过低秩矩阵分解减少参数量,显著降低计算成本。文章详细介绍了LoRA的原理及其在Transformer模型中的应用,并以DeepSeek-R1-Distill-Qwen-1.5B模型为例,展示了使用SwanLab平台进行LoRA微调的完整流程,包括环境准备、数据处理、训练配置和推理验证。实验结果表明,LoRA微调后的模型在保持性能的同时,有效实现了特定任务适配。这种方法为资源受限场景下的模型微调提供了可行方案。
2025-06-15 01:10:04
86
原创 MySQL非聚合列没在group by中问题-ONLY_FULL_GROUP_BY模式
MySQL 8.0默认开启ONLY_FULL_GROUP_BY模式,导致原有SQL查询报错(错误代码1055)。该模式要求非聚合列必须包含在GROUP BY中或用聚合函数处理,而旧版本宽松模式下MySQL会随机返回分组值。解决方案包括:1)修改SQL包含所有非聚合列;2)使用聚合函数处理非聚合列;3)临时禁用严格模式(不推荐)。建议保持严格模式以保障查询可靠性,避免宽松模式下数据不确定性问题。
2025-06-13 10:47:54
345
原创 AI大模型:(二)3.2 Llama-Factory微调训练deepseek-r1实践
摘要: 本文详细介绍了使用Python虚拟环境和LLaMA-Factory工具进行大模型训练的完整流程。首先创建并激活Python虚拟环境,然后根据GPU显存(A10 24GB)选择1.5B参数的DeepSeek-R1-Distill-Qwen模型。文中提供了显存和存储空间的详细计算方法,并指导模型下载与依赖安装。接着配置LLaMA-Factory训练环境,处理自定义数据集(替换模板变量),并说明数据格式要求。最后通过Web UI界面完成模型训练(调整训练轮数优化loss值)和推理测试。整个过程涵盖环境搭建
2025-06-07 23:18:30
516
5
原创 AI大模型:(二)3.1 微调训练详解
微调前先对模型进行One Shot 、Few Shot看看模型是否具备我们需要任务的知识,如果通过One Shot 、Few Shot prompt具备我们任务的知识,我们完全可以使用模型的prompt能力,写模板去实现,不用再微调了。如果不具备,那么我们就需要相关任务的标注数据来微调。 微调指在预训练模型(已经训练好的大模型)基础之上,使用少量数据对大模型的全部或部分参数进行调整,以达到在某个领域更好的效果。
2025-06-05 16:12:09
289
原创 AI大模型:(二)2.5 人类对齐训练自己的模型
模型人类对齐(Human Alignment)旨在确保人工智能系统的行为与人类价值观、意图和社会规范保持一致。随着大语言模型等AI技术的快速发展,如何使模型输出更安全、可靠且符合人类期望成为关键挑战。对齐训练通常通过监督微调(SFT)、基于人类反馈的强化学习(RLHF)等方法实现,利用人类标注的偏好数据或指令数据优化模型响应。
2025-05-15 22:31:52
168
原创 linux CUDA与CUDNN安装教程
CUDA是NVIDIA提供的并行计算平台,允许开发者利用GPU进行大规模并行计算,适用于科学模拟、图像处理、深度学习等任务。本文介绍了CUDA的安装步骤,包括查看当前CUDA驱动版本、下载特定版本(如CUDA 11.7)、执行安装命令以及验证安装成功。此外,还提到cuDNN的安装,cuDNN是针对深度学习优化的高性能库,基于CUDA构建,提供了卷积、池化等操作的优化实现。安装步骤包括下载、解压、复制文件到CUDA目录,并通过验证文件或运行测试程序确认安装成功。
2025-05-12 13:30:07
1762
原创 windows CUDA与CUDNN安装教程
本文介绍了CUDA和cuDNN的安装步骤及其作用。CUDA是NVIDIA提供的并行计算平台,允许开发者利用GPU进行大规模并行计算,适用于科学模拟、图像处理、深度学习等领域。安装CUDA时,需根据驱动版本选择合适的Toolkit版本,并通过nvcc --version命令验证安装是否成功。cuDNN是NVIDIA针对深度学习优化的高性能库,基于CUDA构建,提供了常见深度学习操作的优化实现,如卷积、池化、归一化等。安装cuDNN时,需将下载的文件解压并复制到CUDA安装目录,通过运行deviceQuery.
2025-05-11 10:49:01
1433
原创 git 多个提交记录合并为一个
有时候用devops等平台测试问题,需要多次修改小的记录提交,但是最终我们在合并主干的时候不想留那么多乱七八糟的记录,就需要在此分支合并这些提交记录,再合并到主干。
2025-05-08 17:34:15
1317
原创 AI大模型:(二)1.4 Qwen2.5-Omni全模态大模型部署
全模态(Omni-modal)是新一代人工智能的核心特征,指模型能够无缝整合和处理文本、图像、音频、视频、3D等多维数据,实现真正意义上的跨模态理解和创造。这类模型通过创新的统一表征架构(如多模态分词器与Transformer结合),将所有输入转化为统一的语义空间表示,使不同模态数据在底层实现深度融合。以Qwen2.5-Omni为代表的先进系统,不仅支持任意模态的自由组合输入(如"图片+语音提问"),还能生成跨模态输出(如"用视频回答文字问题")。
2025-04-29 11:44:21
199
原创 AI大模型:(二)2.4 微调自己的模型
在预训练好的大型语言模型(如GPT、LLaMA、BERT等)基础上,使用特定任务或领域的数据进行二次训练,使模型适应具体需求的技术。类似“在通用知识基础上学习专项技能”。例如,一个学过各科知识的大学生,通过针对性训练成为医生或律师。微调是连接通用大模型与垂直应用的桥梁,通过“小数据+轻训练”即可解锁专业能力,已成为AI落地的核心技术。其核心逻辑是:用最小的调整代价,实现最大的任务收益。
2025-04-28 21:57:38
169
原创 AI大模型:(二)2.3 预训练自己的模型
大模型预训练(Large-scale Pre-training)是当前自然语言处理(NLP)和人工智能领域的核心技术,其核心思想是通过海量数据和大量计算资源,让模型从通用任务中学习通用的语言表示或世界知识,再通过微调(Fine-tuning)适配下游任务。2013年Word2Vec出来之后开启了NLP预训练时代,但真正确立大模型预训练方式的还是transform的出现。现在基本所有的大语言模型都是transform架构上演变而来,然后经过大量的数据训练出的模型权重,就能拿来做推理。
2025-04-22 22:29:21
224
原创 AI大模型:(二)2.2 分词器Tokenizer
2013年Word2Vec出来之前是统计学习加特征工程的时代,搜索引擎、淘宝等等互联网软件为了分析和方便搜索就使用了统计学习加特征工程,使用决策书、SVM向量机等机器学习算法,导致词表非常的大,而且无法理解上下文语义,情感分析只靠关键词评判,很容易误判。直到2013年Google团队推出了Word2Vec,Word2Vec开启了NLP预训练时代。Word2Vec将分词进行了向量化,就是以一种数学的可计算方式表达了出来。
2025-04-12 18:34:51
201
原创 AI大模型:(二)2.1 从零训练自己的大模型概述
近年来,大语言模型(LLM)如GPT-4、Claude、LLaMA等展现出强大的能力,推动AI技术在自然语言处理、代码生成、知识推理等领域的广泛应用。本文将系统性地概述大模型从零训练的全过程,包括分词器训练、预训练、微调、人类对齐
2025-04-06 19:04:04
135
原创 AI大模型:(二)1.3 linux本地部署通义万相2.1+deepseek视频生成
2025年2 月 26 日,阿里巴巴深夜重磅开源了视频生成大模型——Wan 2.1( 通义万相 2.1)。Wan 2.1提供14B和1.3B参数版本,支持中英文视频生成及特效。Wan2.1 Prompt可以根据deepseek模型进一步优化,耳熟能详的手机app即梦AI也是这么个玩法,通过deepseek的优化可以将模糊需求细化为具体场景描述,能显著提升视频细节与场景丰富度。
2025-04-04 11:04:28
355
原创 AI大模型:(二)1.2 linux本地部署deepseek千问蒸馏版+web对话聊天
本次不使用ollama工具,直接在linux机器部署DeepSeek-R1-Distill-Qwen-7B deepseek的千问蒸馏版模型。
2025-03-30 00:23:15
304
原创 AI大模型:(二)1.1 ollama本地快速部署deepseek
Ollama 是一个开源的大型语言模型(LLM)服务工具,旨在简化本地部署和运行大型语言模型的过程。它支持多种流行的开源模型(如 LLaMA、Mistral、Gemma 等),并提供命令行交互和类似 OpenAI 的 API 接口,方便开发者快速集成和使用。
2025-03-21 22:37:02
688
原创 AI大模型:(一)1.大模型的发展与局限
“物理学的大厦已经落成,头上飘着一朵乌云”。喜欢三体的同学都知道,三体里边说物理学不存在了。为什么不存在了,因为地球上形成物理学理论在三体世界不适用了,科学家自己信仰的学科突然崩塌了,所以自杀!!!基本上所有的大模型都是基于数据学习的,由此可以推断出大模型所面临的挑战,或者说那个难以逾越的大山是什么。大模型在某个知识领域训练学习的知识,很难移植到别的地方,也就是大模型在提取特征也就是根据现象总结规律向下沉这一块做得已经很好了,但是向上浮推导的能力还是很有限。
2025-03-19 22:27:44
212
原创 springmvc+jdk1.8升级到springboot3+jdk17(实战)
springmvc+jdk1.8升级到springboot3+jdk17(实战总结)
2024-10-23 17:46:09
1564
转载 JDK现状
JDK 有多个构建版本,而实际只有一组源代码,即OpenJDK,使用分布式版本控制系统 Mercurial 托管在 OpenJDK。Sun Microsystems公司在2006年的JavaOne大会上称将对Java开放源代码,于2009年4月15日正式发布OpenJDK。任何人都可以获取这些源码,并用其构建一个变种版本进行发布。
2024-08-15 18:28:17
150
原创 一台docker机器如何实现构建多平台镜像
想在 x86_64/amd64 的一台机器平台上,构建适用于多个平台的镜像,例如 linux/amd64、linux/arm64
2024-07-06 20:04:49
835
原创 Kylin Linux V10 SP1 aarch64部署k8s集群严重bug
Kylin Linux V10 SP1 aarch64部署k8s集群严重bug
2024-05-01 23:12:08
1491
1
原创 sparkctl x86/arm不同平台编译使用
sparkctl是 Spark Operator 的一个命令行工具,用于创建、列出、检查状态、获取日志和删除SparkApplication。它还可以进行从本地端口到 Spark Web UI 端口的端口转发,以访问驱动程序上的 Spark Web UI。每个功能都是作为子命令实现的sparkctl。
2024-04-24 21:21:47
1316
3
原创 Elasticsearch:(二)3.集群的健康检查
================================未完待续=================================yellow:至少一个replica副本分片不可用,但是所有primary主分片均为active,数据仍然是可以保证完整性的。green:所有primary主分片和replica副分片均为active,集群健康。red:至少有一个primary为不可用状态,数据不完整,集群不可用。
2024-04-18 18:06:16
450
Spring配置定时器
2013-11-12
activiti流程
2014-04-14
apache+tomcat集群配置教程
2014-04-19
centos7.2内核包kernel-3.10.0-327.el7.x86_64
2022-02-10
java_https_ssl
2013-11-14
apache jackrabbit 教程
2014-07-03
velocity demo
2014-03-10
javaWeb安全验证漏洞修复总结
2013-12-14
flash image silde show ( Open Source)
2013-10-10
encache+jgroups集群缓存共享
2018-07-27
js bigdecimal
2014-10-15
html语言参考英文版.chm
2013-09-05
UniversalThemePatcher
2019-01-10
mave环境搭建
2014-03-10
flash 图形报表
2014-03-20
js图形报表
2014-03-20
iqi/qnsm+dpdk安装
2022-03-19
银河麒麟linux 4.19.90-17.ky10.aarch64 arm版sparkctl命令工具
2024-04-23
selenium自动化使用的107.0.5304.122版本chrome及对应的chromedriver
2024-04-13
openeuler-2203-LTS-SP1-x86-64的postgres-14安装包及安装shell
2024-03-31
Postgresql 数据库system_stats监控 插件
2022-05-10
centos7.7 kernel-headers-3.10.0-1062.el7.x86_64包
2022-03-21
centos7.9 devel、headers内核包
2022-03-23
centos7.6 3.10.0-957.27.2.el7.x86_64内核包
2022-03-07
centos7 iptables
2022-03-07
centos7.7 kernel-devel-3.10.0-1062.el7.x86_64 开发包
2022-03-07
gcc-4.8.5-44.el7.x86_64相关包
2022-03-09
centos7 mysql客户端包
2022-03-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人