自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1023)
  • 资源 (1)
  • 收藏
  • 关注

原创 告诸位技术同胞大佬!!!

近日,发现其他网站大量复制粘贴我这里的博文,既不注明原文链接,也没有注明作者,这样的网站毫无底线,完全是流氓网站。鉴于这种情况的出现,本人今天以后的博文全部只能粉丝可见。下面我要挨个投诉,申诉,直到删除复制的我的博文,不限于起诉维权,反正一无所有,咱就死磕到底!!!For Video Recommendation in Deep learning QQ Group 277356808For Speech, Image, Videoin deep learning ...

2020-06-05 10:12:14 1323 1

原创 大模型入门实践指南

大模型是 “参数规模大、训练数据多、泛化能力强” 的语言模型的统称。参数规模:通常以 “亿” 或 “千亿” 为单位(如 GPT-3 有 1750 亿参数,入门级模型如 DistilGPT2 约 6 亿参数);数据驱动:通过海量文本数据(如书籍、网页、论文)学习语言规律,无需人工标注特定任务;涌现能力:当规模达到阈值后,会自发具备逻辑推理、多轮对话、代码生成等复杂能力。大模型入门的核心是 “先实践后原理”:通过 Hugging Face 工具栈快速调用预训练模型,感受大模型的能力;

2025-09-14 22:39:19 471

原创 声反馈问题产生的原因及解决方法初探

我依旧记得之前参加一个讲座报告,问那个教授声反馈问题如何解决,他竟然没有听过啥叫声反馈,这么常见问题,在手机端很容易复现这个问题,他竟然不知道。所以我还是觉得实践也是很重要的!仅此。跟进参考2,放手机上打开即可复现声反馈问题(howling),非常明显,回声消除根本去不掉。目前市面上的某某会议都有这种情况,都没去掉,参加会议的主持人还会让你关闭麦克风,只能一个人讲,其他人听,不能很多人一起讲。世界难题。好问题!👏 你已经发现了一个 WebRTC 在真实场景里在里,通常就能很好地抑制播放→录音的回声。

2025-09-12 08:30:00 854

原创 回声消除的产生的原因与实验

是 WebRTC 的经典应用场景之一。场景是:设备既能播放声音(扬声器/喇叭),又能录制声音(麦克风),但我们不想录制到自己刚刚播放的声音,只想保留“真实外部声音”(比如讲话的声音)。WebRTC 内置的 AEC 算法就是用来解决这种“扬声器-麦克风环路”。

2025-09-12 08:15:00 164

原创 回声消除AEC初探

那段保留即可——在播放期间把麦克风关闭(软件层面的 mute),同样能根除回声,只是会失去“一句话期间仍能捕获背景噪声”的能力。如果还有更细节的需求(比如多语言 TTS、实时流式 ASR),欢迎继续交流。的完整示例,可直接拷贝、改造、集成到你现有的 LLM‑TTS 对话系统中。实际效果取决于用户设备的硬件与驱动,若仍有回声,可让用户佩戴。把扬声器信号(把播放音频拷贝给 AEC)从麦克风流中减去。:TTS 播放的声音被同一个麦克风再次捕获,导致声学回声。三种实现示例,帮助你快速落地。,几乎可以消除所有回声。

2025-09-10 22:00:00 162

原创 flashAttention的原理及应用详解

如果你有特定的模型/硬件/序列长度与 batch 配置,我可以给出更针对性的开启方式与预期加速比建议,或者帮你把现有的 MultiheadAttention 模块替换为 SDPA/flash-attn 的落地代码。注:PyTorch 的 SDPA “flash” 后端并不是简单地把 Tri Dao 仓库塞进去,而是以相同思想实现/集成的内核;一图理解内存收益(以 B=1, H=16, L=4096, dtype=fp16 为例)示例(打包 QKV 的形式,形状为 B,L,3,H,D;

2025-09-10 08:15:00 89

原创 deepseed 加速训练的ZeRO 2/3

如果你有特定模型(如 HuggingFace Transformers)需要接入,我可以给你对应的命令行与脚本改造点(例如 activation checkpointing、gradient checkpoint、TP/PP 组合等)。在 rank 1 节点把 NODE_RANK=1 即可。二、准备 DeepSpeed 配置。你可以直接复制到工程目录试跑。三、训练脚本(最小可跑)

2025-09-09 08:45:00 187

原创 Constant-length packing 常长打包

在Transformer Reinforcement Learning(TRL)框架中,‌‌是一种优化训练数据处理的策略,主要用于SFT微调阶段。其核心思想是将输入序列固定为特定长度,以减少内存占用并提升训练效率。

2025-09-09 08:30:00 30

原创 MCP(Model Context Protocol)与大模型一起运用

三、端到端示例:自建 MCP 服务器 + 用 OpenAI 工具调用桥接。四、把你的 MCP 服务器接入现成客户端(无需写桥)如果你只想直接跑起来,可以从“端到端示例”开始。一、MCP 是什么(和 LLM 为何要一起用)

2025-09-05 15:06:32 77

原创 图片网页能打开但是程序获取不到?

原理:把 urllib3 的 TLS 指纹伪装成 Chrome114,CDN 一看「哦,是浏览器」,立刻放行。一、问题本质 errno 54 是 TLS/HTTP 指纹被 CDN 拉黑,带再多 header 也无效。三、终极代码(带重试、UA、Referer、Cookie、HTTP/2、浏览器 TLS 指纹)方案 C:临时应急(不想装库) 把链接丢到「免 CDN 代理」再下,例如:【试了没啥球用】方案 A:换「浏览器级」TLS 指纹(零依赖,3 行代码)结论 errno 54 就是「TLS 指纹」被拉黑,

2025-09-05 14:40:12 70

原创 SCRM与SaaS的区别

SCRM 可以是 SaaS 的,也可以是本地部署的;但 SaaS 不一定是 SCRM,它可以是 CRM、ERP、OA、财务系统等等。如果你有具体场景,比如“我想买 SCRM,但不知道是选 SaaS 还是本地部署”,我可以帮你分析利弊。

2025-09-04 17:02:02 279

原创 node.js 安装步骤

在Node.js中安装包通常通过npm(Node Package Manager)来完成,这是Node.js的包管理工具。

2025-08-29 16:51:15 191 2

原创 MongoDB /redis/mysql 界面化的数据查看页面App

输入MongoDB的账号密码即可读取数据,可访问数据。

2025-08-26 18:34:38 453

原创 java IDE安装idea社区版步骤

IntelliJ IDEA 社区版(Community Edition)是一款功能强大且的集成开发环境,非常适合 Java 和 Kotlin 初学者或进行基础开发2。我会为你提供详细的安装步骤。

2025-08-25 09:27:19 657

原创 redis设置密码及配置conf

redis 密码设置及配置、重启,远程链接。

2025-08-22 10:45:11 113 1

原创 logger级别及大小

级别选择生产环境:通常使用INFO或WARN。测试/预发布环境:可以使用DEBUG来排查问题。开发环境:可以使用DEBUG或TRACE。大小管理必须配置滚动策略,绝不能放任日志无限增长。根据应用日志量和磁盘空间,合理设置(如100MB-1GB)和maxHistory(如保留7-30天)。设置作为最后的安全网,防止误算导致磁盘爆满。日志清理推荐使用日志框架自带的maxHistory和机制自动删除旧日志,而不是依赖外部Cron作业,这样管理更清晰、更可靠。

2025-08-21 14:03:13 704

原创 docker-compose启动与重启loki

你的需求应使用的命令简单重启 Loki,应用最新配置快速重启 Loki(配置未改变)停止 Loki停止所有服务并清理启动所有服务查看运行状态重要提醒:请确保你的文件中为 Loki 配置了数据持久化(例如使用了volumes),否则重启或重建容器可能会导致历史日志数据丢失。

2025-08-21 10:28:56 61 1

原创 怎么确定mysql 链接成功了呢?

实现mysql密码设置及链接测试

2025-08-20 17:09:41 390

原创 wrong fs type,bad option, bad superblock on /dev/sdb,I missing codepage or helper program, or other

确认设备,看/dev/sdb是否存在及其文件系统类型。检查挂载点:确认/data2目录已创建且有合适权限。尝试自动挂载。尝试修复:如果自动挂载失败,运行。检查驱动:如果是特殊文件系统(如NTFS),安装对应驱动(如ntfs-3g考虑格式化:如果是新盘,备份数据后用格式化。检查硬件:最后一步,怀疑硬件问题,用smartctl检查或换电脑测试。请根据你的实际情况,谨慎选择上述步骤进行操作。继续排查:这是一个非常重要的步骤,尤其是在进行任何修复或格式化操作之前,确认磁盘内是否有数据可以避免灾难性的数据丢失。

2025-08-20 16:23:57 90

原创 使用 mongosh 设置 MongoDB 账号密码

可以使用mongosh(MongoDB 6.0+ 的现代Shell)来设置账号密码。mongosh是官方推荐的新一代MongoDB Shell工具,替代了传统的mongo命令。【本人博文提到的ip均为随机生成的,不是实际的ip,仅供参考,如有雷同,纯属巧合】

2025-08-20 11:23:26 524 1

原创 [Errno 111] Connection refused (configured timeouts: socketTimeoutMS: 20000.0ms, connectTimeoutMS: 2

这个错误表明你的应用程序无法连接到远程 MongoDB 服务器。

2025-08-20 11:04:14 303

原创 怎么确定mongodb是不是链接上了?

现有mongosh链接了MongoDB,里面能操作,但是想python进行链接,因为代码需要,现在测试下链接成功了没有。

2025-08-20 10:49:12 193

原创 AttributeError: module ‘pkgutil‘ has no attribute ‘ImpImporter‘. Did you mean: ‘zipimporter‘?

这个错误表明您环境中的pip版本与 Python 3.12 不兼容。

2025-08-18 17:26:36 60

原创 Redis 客户端安装方法

sudo yum install redis -y # 包含redis-cli。# 或从源码安装(与服务器安装步骤相同,只需编译redis-cli)注意:生产环境建议使用最新稳定版本,并参考官方安全指南。bind 127.0.0.1 # 只允许本地访问。# 带密码连接(如果设置了密码)下载对应平台的安装包安装。# 连接本地Redis。下载对应平台的安装包。

2025-08-18 14:45:46 98 1

原创 redis客户端安装方法

redis-cli ping # 应返回 PONG。make test # 可选测试。# 下载源码(替换为最新版本号)# 创建redis用户。

2025-08-18 14:20:41 183 2

原创 链接本地redis方法

场景命令示例基础连接redis-cli带密码连接指定端口命令行执行操作检查服务状态⚠️安全提示:生产环境避免使用KEYS *(可能阻塞服务),建议用SCAN替代。

2025-08-18 14:18:16 83

原创 rar压缩包python解压

(如果解压器不在。

2025-08-13 17:27:20 109

原创 python与JavaScript的区别

(按常用维度划分)defclassimportyield{};

2025-08-13 17:19:57 1099

原创 docker 将本地python环境(有系统依赖)进行打包移到另一个服务器进行部署

方法可靠性复杂度系统依赖处理Docker 容器化⭐⭐⭐⭐⭐⭐⭐⭐完整封装Conda-Pack⭐⭐⭐⭐不保证兼容性推荐始终使用 Docker以确保环境一致性,尤其涉及系统库(如 glibc)时。

2025-08-13 14:04:10 342

原创 git+lfs 如何安装

按系统选择对应方案操作即可完成安装,后续使用需通过。指定需管理的大文件类型59。成功安装后应显示版本号(如。

2025-08-12 15:49:05 438

原创 docker删除容器影响镜像吗?

您可以安全执行命令,它只会删除容器实例,不会影响您的镜像。删除后,您可以使用相同的镜像立即重新创建新容器。如果您需要保留容器数据,可以考虑:bash# 在删除前备份容器数据然后重新运行容器时挂载备份数据:bash。

2025-08-12 10:35:20 150

原创 在 Ubuntu 中docker容器化操作来使用新建的 glibc-2.32

bash。

2025-08-11 17:20:50 256

原创 configure: error: *** These critical programs are missing or too old: bison*** Check the INSTALL f

如果系统中没有安装bison,可以使用dnfbash如果系统自带的bison版本过低,可以手动下载并安装更高版本的bison。确保安装完成后,将新安装的bison路径添加到环境变量中,并重新运行configure脚本。如果你在操作过程中遇到任何问题,请随时告诉我!

2025-08-11 13:55:50 160

转载 GPT-OSS模型评测最佳实践:推理速度与基准测试指南

通过以上步骤,我们成功地使用 EvalScope 测试了 GPT-OSS 模型的推理速度和基准测试能力。GPT-OSS 模型在推理速度和基准测试上表现出色,适合用于生产环境和高性能需求的场景。————————后续补充——————————相关技术群:868373192,277356808。

2025-08-11 11:04:35 353 3

原创 Failed to restart docker.service: Unit docker.service is masked.

被标记为 "masked" 意味着 systemd 已阻止该服务被启动或运行。这通常发生在 Docker Desktop 安装过程中,因为它使用自己的服务管理机制。

2025-08-07 17:41:56 499 1

原创 docker安装记录

步骤 2→3→4→6 即可完成安装(约 5 分钟)268。

2025-08-07 17:41:24 312 1

原创 docker安装半本地化安装方法

sudo apt install ./docker-desktop-amd64.deb # 再装 Docker Desktop。无法安装的问题,通常是由于系统缺少 Docker 官方仓库或依赖冲突导致的。sudo dpkg -i ./docker-ce-cli_*.deb # 安装 CLI。大多数的安装方法都是apt install这种,还需要指定什么库,直接根据上面的页面下载。如果仍有问题,请提供完整的终端错误日志。sudo apt --fix-broken install # 自动修复依赖。

2025-08-07 16:21:02 54

原创 docker配置loki

配置国内镜像加速器(阿里云/南京大学等),覆盖 90% 场景25;

2025-08-07 13:54:58 239 1

原创 loki安装记录-采用docker-compose安装

部署。

2025-08-07 10:05:51 141 1

原创 Elasticsearch Ingest Pipeline 实现示例

以下是一个完整的 Elasticsearch Ingest Pipeline 实现示例,用于在文档写入时调用外部向量生成服务。

2025-08-04 16:04:26 128

requirements.txt of the stable-diffusion-webui

stable-diffusion-webui的pip 安装记录,直接由pip freeze而来,比较全面,而且基本上都是必须的环境,多余的环境很少。直接pip install -r the_file.txt 即可,相当方便。

2023-07-19

brew安装shell文件,直接bash执行即可

brew安装shell文件,直接bash执行即可,mac电脑专用,其他系统不支持哈。

2024-07-17

河南省⼯业学校校区⼯作⼈员试题卷子往年题库

源于互联网,自己下载的,其中内容应该靠谱。

2023-12-28

stable-diffusion-webui启动文件

stable-diffusion-webui启动文件,用于启动环境中的参数输入,与cmd参数输入相结合,其他参数修改,包括pip,git环境修改,git的环境请手动下载,这里注释掉了。

2023-07-19

stable-diffusion-webui安装包,亲测有效

stable-diffusion-webui安装包,亲测有效。非常可行的包,不过环境需要自己安装的,安装一下吧。有些环境在repo里安装即可。

2023-07-19

stable-diffusion-webui启动文件launch.py

用于启动stable-diffusion-webui,修改后的脚本,第一版本,可行,启动无误。无需全局环境,可以像其他库一样设置自己的虚拟python环境,非常nice的,省时省力。

2023-07-19

diel-data数据集,用来实验与验证GCN模型的,推荐算法中的GCN模型,当然也是最初的分类模型

diel_data数据集,用来实验与验证GCN模型的,推荐算法中的GCN模型,当然也是最初的分类模型,该模型数据的难点在于构建网络节点数据,具体可以看下GCN中的解读。或者参考我的博文GCN的解读。

2023-06-22

Avazu推荐算法必备数据集,无论是召回还是排序都是必备的数据集

Avazu推荐算法必备数据集,无论是召回还是排序都是必备的数据集。 版本x1,即可用于推荐算法中的指标对比,也可以用来检验自己的算法是否超过前人的研究成果,是用来发paper的必备测试数据集,比如DeepFm,din,等,都可以用来测试,实践。不妨下载来看看数据格式,这里面的数据集是大多数的通用的数据。 另外,数据集具有验证集和测试集,可用来训练中和训练后进行测试,当然也可使用其中一个作为测试。 推荐算法,模型必备数据集,wide&deep,LR,DCN,图模型,等。

2023-06-22

cora-v2数据集,用于推荐算法中的GCN进行测试

cora_v2数据集,用于推荐算法中的GCN进行测试 也可以用于推荐算法中其他方法的测试,作为经典的数据集,具有对比的作用。

2023-06-22

python库peft安装包

可以采用pip安装的peft安装包,包括makefile文件,此库非常有用,依赖库有torch及python,一些版本号可以自己修改,具体可查看里面的文件。该安装包用于大模型微调使用,是必不可少的依赖。

2023-05-05

用于NLP预训练模型的微调,应用场景包括language model 和text generation 自然语言处理必备资源

英文维基文本,包含训练集,测试集,验证集。 来吧,下载训练自己的模型,微调下吧。

2023-02-14

自然语言处理用的二分类微调数据SST,可以参考huggingface来具体操作训练

自然语言处理,预训练模型微调专用数据,SST2 文本分类,情感分类等等类似下游任务都可以用。

2023-02-14

attention is all you need解读及pytorch代码

Attention is all you need 解读及详细代码,每个模块都有注释,代码详细易懂。哈佛出品,值得阅读。Transformer最基本的结构,也是BERT的基本结构,NLP和推荐都需要用到。

2022-12-06

gcn/gat模型中预处理数据用的脚本 如何把数据整成gcn/gat模型需要的数据格式 process

图模型中数据预处理所用的脚本, 包括dgl,gcn,gat都是用的这个预处理过程。

2022-12-06

sample_movielens_ratings.txt

采样的movielens数据集,一般用来推荐模型中的测试。标椎格式txt可以尝试下自己的新模型,这种数据一般用于有评分数据的模型,用于矩阵分解之类的模型。如果是点击与否的模型则不适用。推荐算法模型可以查看我的相关博文,关注即可。多谢点赞。也可以加群获取更多资讯。群里有各种大佬,都是算法专家。

2022-09-17

视频中的音频提取test.mp3

视频中音频提取技术,ffmpeg是底层实现工具,这是最基本的,采用py处理得到,简单方便,但实时性有点差,取决于个人所用工具。

2019-11-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除