fengruxue的专栏

学习路线大模型演进路线：视觉大模型趋势特征基于前置任务学习基于对比学习基于掩码重建学习核心驱动人为设计的代理任务区分正负样本对根据上下文重建被掩码的数据主要目标解决特定代理任务拉近正样本，推远负样本最小化重建误差关键操作预测伪标签计算对比损失 (InfoNCE 等)掩码输入，预测被掩部分信息利用任务定义所需的信息样本间（对）的相似/不相似关系数据内部的上下文依赖关系优点设计灵活，直观表示判别性强，对齐效果好通用性强，学习丰富上下文，无需负样本主要缺点任务设计敏感，信息瓶颈。

目前视频生成的应用场景多为老照片说话，数字分身，照片跳舞，广告，动画制作等，有点类似剪映剪视频，你要生成你想要的效果，需要熟练使用工具，掌握高阶玩法，但是AI 视频生成的可控性差，很多时候，同一段提示词，每次生成的效果都不一样，但也许正是AI 视频生成的魅力所在，你永远不知道你下一秒会看到什么。

一个时常看到的名词，一开始不知道是什么，理解下来就是流程编排的平台，可以用来生成图片，随意组合，感觉会比stable difussion 更加强大一点，也更加灵活便捷，工具平台的使用就是熟能生巧，由于自己的mac 配置太低就不本地部署了，在线试用一下。看这这些复杂的各种编排节点,种类繁多，总感觉学习成本并不低。

扩散模型（）是当前人工智能领域最热门的图像生成技术之一，其核心思想是模拟物理学中的“扩散现象”——通过逐步添加噪声破坏数据，再训练神经网络逆向复原数据，从而学会生成新内容。

未来已来，只是尚未流行~”这两天(3.6开始)火爆各大媒体的Manus被刷屏，后续又各种爆出套壳圈钱走人，除去这些不谈，AGI时代是不是要加速到来了，并且这个Manus还是国人创始的，不免在国内掀起了一波热潮，究竟是自媒体在自嗨还是颠覆性的技术革命，先看下这个Manus能做什么？

‌ （未来已来,只是分布的还不太均匀）继上次写的Cursor与DeepSeek的完美契合，传说中Cursor是自动挡，Devin是全自动驾驶，那么得看下Devin是如何运作的，不知道这个软件要不要花钱，一窍不知，B站了解一下先，先开下头，还是要感慨一下，B站真是个非常不错的网站。先看下Devin是个啥：官方文档：devin.ai 或者 cognition.ai。

这两天在看清华大学最近出的一个关于deepseek入门的官方视频中，看了几个deepseek的应用场景还是能够感觉到它的强大之处的，例如根据需求生成各种markdown格式的代码，再结合市面上已有的一些应用平台生成非常好看的流程图，PPT,报表等，看到了一个使用Cursor 结合deepseesk 快速生成了几个小工具的例子，感觉还是蛮惊艳的, 然后就下载来试用了下，此时又想起了之前看到的一张图，阿里前端第一人玉伯，语雀创始人发的一条动态。让deepseek 生成一个上传需求文档，写测试用例的界面。

每个词都能关注句子中的其他词，从而理解句子的含义数学不好，Transformer 里面涉及复杂的数学知识有点令人费解，它的主要流程是：输入处理阶段需要分词、嵌入、位置编码。编码器部分需要自注意力和前馈网络，解码器部分需要掩码注意力和交叉注意力。输出生成需要线性层和softmax。让deepseesk 通俗讲解一下：

在公司内网看到的推荐买的的书，推荐理由就是书中的内容都是比较有深度和高质量的，把最新的一版008看了大部分后，感觉，确实如此，即使这是2024年9月出版的，虽然AI 大模型相关的迭代发展速度是按天来算的，尤其是随着年初deepseek的出现更是有个不少突破性的进展但是其实细读一些观点在现阶段，依然还是不过时，观点精辟且具有前瞻性，毕竟都是行业巨擘的访谈或亲自执笔编写的，很值得多读几遍。

随着AI 的飞速发展，作为互联网行业从事人员，不免觉得是不是自己即将面临淘汰，也就是这期的封面主旨：大模型时代的开发者是不是面临着迭代危机？这007期是2024年4月份出版的，距今为止已经出版了一年，有时候感觉纸质书籍的其中一个缺点就是信息滞后性，特别是和AI 相关的领域，一年感觉等于一光年。但是书中的部分观点还是值得一看的。

整个Cline 结合mcp server 使用的例子还是挺简单的，配置整个server 过程都可以直接让cline 端去执行，或者自己可以手工去进行mcp 的配置，还是很强大的。

B站推荐【ChatGPT提示词工程师】教程！附课件代码，更适合大模型入门必看吴恩达的教程，微调部署_哔哩哔哩_bilibili核心的观点:1、两个原则：编写清晰明确的指示和给模型足够的时间来思考。

看下Deepseek怎么说？AI 领域的评测是指通过系统化的方法和工具对人工智能技术的性能，可靠性，适用性及伦理性进行全面评估的过程，其核心目标是验证AI 在不同场景下的实际效果，确保其技术价值与社会需求相匹配。感觉其实就是回到开篇所说的，评测其实涉及了多个方面：技术性能，硬件评测，应用场景评测，伦理与安全评测等。

在大模型的应用当中，微调这个词出现的概率很高，然后与之常做对比的是RAG , 那么何为微调？（写了前面几篇大模型基础篇的文章，感觉还是得好好构建下文章结构，要不后面自己回看都看不明白了，写完后还是需要花点时间来整理一下~）

RAG，全程 Retrieval-Augmented Generation，检索增强生成。给大模型补充外部知识以提高输出答案的质量。（这里的外部知识指的是私有数据或者最新数据）。举个例子： 你想要让大模型分析你们公司内部某个还没公开发布的手机和竞品的能力对比，那么你直接问大模型你家手机和苹果手机的性能区分，很明显大模型就无法解答，你需要从企业私有知识库中检索出相关的内容补全prompt给到大模型来回答，这就是RAG应用的简单场景。目前来说，大模型普遍被运用广泛的两个方向就是RAG 和Agent 智能体。

类似MCP Server 集合上的热门应用还有像增加模型推理，地图，时间，社交，云服务等各种工具调用，让大模型去调用工具的使用变得非常简单，简单复制一下对应的mcp 配置即可，不过这也要依赖各种mcp server 提供方开源出来供大家使用，以后的发展路径应该会有一个牛逼的客户端整合各种各样的工具可以免配置就可以让用户选择使用了吧~~

之前的一篇文章介绍了如何安装cline 来使用应用市场已经安装好的MCP Server ,官网的介绍MCP Server 其实可以使用nodejs 或者python 来编写，最近看到有个spingAIMCP 的开源项目也可以用来写MCP Server ，那么可以三种方式都来实践一下，深入了解一下MCP Server 的底层原理。官方sdk ：还是支持了很多种语言的~

最近谷歌又推出了A2A 的概念，那么什么是A2A 呢，A2A 让Agent之间能够进行通信，从而构成更加强大的AI系统，有种万物互联的感觉，但是这种物是一个个Agent , 机器人🤖 之间通信？

整个dify 和Coze使用下来，感觉操作体验还是Coze 相对来说更友好,感觉Agent 的生成还是非常便捷的，当然上面都是一些非常非常简单的实践例子， 真要落地到实践应用上面，还需要经过不断的部署，调试，模型优化，成本预算等等，突然感觉其实也不必神话当前的AI 的作用，还有最近投资界对AI 机器人实践落地前景的不大看好，短期内成本高，效果不明显，AGI 的到来或许还需要一些时间~