GUOOGLK-CSDN博客

转载 AI模型的回调能力的理解和实现

BigTall最近把RAG和Agent的原理想通了，对于“一切都是提示词”的理解又更多了一些。本文把我的理解大致整理了一下，给出BigTall自己的一个实验。希望能够对大家有用。不知道有多少人会看到这里。操控AI模型其实没什么难度，最大的难度还是在“提示词的调试”，你需要不停的试错，不停地和模型的理解能力和幻觉做斗争。模型参数量越小，这个调试的难度就越大，因为小模型本来就很笨。这次调试多亏了Grok，否则要拿捏住0.6B的小模型不被它蠢哭，还真不容易。至于Big Tall是怎么跟Grok。

2025-07-19 02:02:53 2

转载探秘Transformer系列之（35）--- 大模型量化基础

将现有的量化技术直接应用于大模型存在困难，会出现较大量化误差和精度下降。这主要是因为大模型的特点是规模和复杂性。与较小的模型相比，大模型的权重和激活通常表现出更多的outlier（离群值），并且具有更宽的分布范围。LLM.int()的作者就发现：与较小的模型不同，LLM 表现出独特的权重和激活分布，其特点是存在大量的outlier。因为outlier 的存在，如果我们使用 INT8 量化，大多正常数值将被清零。

2025-07-03 12:39:53 8

转载还在为慢速数据传输苦恼？Linux 零拷贝技术来帮你！

合集 - Linux编程(4)1.Linux 系统编程从入门到进阶学习指南02-212.还在为慢速数据传输苦恼？Linux 零拷贝技术来帮你！11-063.Linux 网络编程从入门到进阶学习指南02-214.别再被多线程搞晕了！一篇文章轻松搞懂 Linux 多线程同步!11-06收起前言程序员的终极追求是什么？当系统流量大增，用户体验却丝滑依旧？没错！然而，在大量文件传输、数据传递的场景...

2024-11-07 02:48:16 51

转载 linux时间校准

在Linux系统中，您可以使用date命令手动设置系统时间，或者使用ntp服务来通过网络时间协议（NTP）自动校准时间。手动设置时间sudo date MMDDhhmm[[CC]YY][.ss]MM是月份DD是日hh是小时mm是分钟CC是世纪YY是年份的最后两位ss是秒例如，要将时间设置为2023年4月1日1...

2024-08-08 02:20:04 2835

转载数据采集与控制 > 数字I/O卡 > PCIe2330A；32路光隔离开关量共阳极或共阴极输入、32路光隔离达林顿输出。...

本章主要介绍PCIe2330A/2332A的系统组成及基本特性，为用户整体了解PCIe2330A/2332A的相关特性提供参考。产品简介量共阳极或共阴极输入、32路光隔离达林顿输出:PCIe2332A提供64路光隔离达林顿输出。DI使用的是双向光耦，可满足用户方向的可变性，并且每路DI具有检测改变功能。DO是由光PCIe2...

2024-07-17 03:30:30 60