- 博客(54)
- 收藏
- 关注
RSS订阅原创 【大模型核心技术】RAG 理论与实战
RAG（检索增强生成）是一种结合大语言模型生成能力与外部知识检索的技术，通过向量数据库存储知识库，使模型在回答前先检索相关外部信息，有效减少幻觉并提升准确性。系统架构分为离线构建知识库（数据加载、切分、嵌入和存储）和在线处理查询（提问嵌入、检索和生成）两阶段。RAG优势包括突破时效限制、支持答案溯源、低成本更新和领域适配。关键技术涉及数据预处理、嵌入模型选择、检索策略优化和提示工程等。应用场景涵盖智能问答、文档分析、代码生成和教育辅导等领域，通过代码实战展示如何结合搜索引擎构建知识库。该技术显著提升信息可靠
2025-07-29 20:00:36
784
原创 【查漏补缺】机器学习典型算法
本文总结了监督学习、半监督学习和非监督学习的主要算法。监督学习部分介绍了线性回归、逻辑回归、决策树、随机森林、KNN、朴素贝叶斯和SVM等经典算法及其核心公式和原理。半监督学习部分以表格形式对比了标签传播、生成模型、S3VM等6类算法的特点和适用场景。非监督学习部分则涵盖了K-means聚类、层次聚类、PCA降维、自编码器和孤立森林等算法，重点说明了它们在特征提取和异常检测中的应用。全文系统性地梳理了机器学习三大类算法及其典型实现，可作为算法选择的参考指南。
2025-07-28 16:48:04
842
原创 【大模型实战】向量数据库入门与实践
摘要：向量数据库是RAG（检索增强生成）技术的核心组件，专为存储和管理高维向量设计，克服了传统数据库在相似度检索上的局限。通过将文本、图像等复杂对象转化为向量形式，利用余弦相似度、欧氏距离等算法实现高效语义搜索。其架构包含数据接入、存储、索引、查询处理等层级，并采用ANN（近似最近邻）技术加速检索。典型产品包括Milvus、Weaviate等，需根据性能、扩展性等需求选型。作为AI时代的基础设施，向量数据库支撑从模型训练到智能应用的全流程，成为实现"万物向量化"的关键技术组件。
2025-07-28 16:36:49
836
原创 【大模型框架】LangChain入门：从核心组件到构建高级RAG与Agent应用
本文介绍了LangChain框架的设计理念与核心组件，帮助开发者构建现代AI应用。LangChain通过标准化接口、强大的编排能力和可观测性工具，解决了LLM生态中的集成难题。文章详细解析了LangChain的模块化架构，包括核心包(langchain-core)、主包(langchain)、社区集成(langchain-community)以及扩展工具(langgraph/langserve/langsmith)。第二部分深入探讨了与OpenAI和Hugging Face等模型的交互方式，包括本地推理和A
2025-07-26 17:29:10
886
原创 【大模型实战】提示工程（Prompt Engineering）
提示工程优化指南：核心原则与实用技巧 提示工程通过优化指令提升AI输出质量，需遵循五大原则：指令清晰、提供上下文、角色设定、任务明确、规范格式。基础技巧包括精准指令（动作+范围+数量+细节）和角色扮演（细化身份背景）。进阶方法涵盖少样本示例引导、思维链分步推理及格式控制（JSON/Markdown等）。关键优化路径为“尝试-分析-调整”循环迭代，从简单提示起步逐步细化。最佳实践强调分解复杂任务、持续测试改进，并结合模型能力边界调整策略。150字
2025-07-25 16:46:21
879
原创 【神经网络概述】从感知机到深度神经网络（CNN & RNN）
本文系统介绍了深度学习的核心神经网络模型及其应用。首先讲解了感知器和深度神经网络（DNN）的基础原理，包括前向传播、损失函数和反向传播等关键概念。接着重点解析了卷积神经网络（CNN）的结构特点、核心组件（卷积层、池化层）和经典模型（如LeNet、AlexNet等）。然后阐述了循环神经网络（RNN）及其改进模型（LSTM、GRU）在处理序列数据上的优势，并介绍了编码器-解码器架构。最后讨论了词嵌入技术，包括其原理、实现方法和典型模型（如word2vec）。全文涵盖了深度学习的主要网络架构和关键技术，为理解现代
2025-07-25 11:30:30
1054
2
原创 【大模型关键技术】Transformer & 前沿发展
本文系统梳理了人工智能的技术演进历程，重点分析了Transformer架构的核心原理。文章首先将AI发展划分为四个阶段：从早期的规则系统（1950-1990）到统计机器学习（1990-2012），再到深度学习（2013-2018）和大语言模型时代（2018至今）。随后深入解析Transformer的关键技术，包括自注意力机制的多头并行计算、位置编码方案的对比（绝对/相对/旋转位置编码），以及残差连接和层归一化对深层网络训练的重要性。文章通过数学公式和架构图详细展示了注意力权重的计算过程、上下文向量的生成机制
2025-07-25 11:06:17
747
原创 RocketMQ 知识速览
事务消息是生产者通过 rocketMQTemplate.sendMessageInTransaction 方法发送的。RocketMQ 消息存储架构中的三大角色——CommitLog、ConsumeQueue 和 IndexFile。比较常见的分布式事务实现有 2PC、TCC 和事务消息(half 半消息机制)；RocketMQ 使用 事务消息 + 事务反查机制。消息堆积的根源：生产者生产太快 或 消费者消费太慢。以上步骤 都是在生产者监听器实现类中实现的，同步刷盘 & 异步刷盘。
2025-01-13 21:20:39
1352
原创 Redis 知识速览
Redis 是一个用 C 语言编写的高性能非关系型（NoSQL）键值对数据库。数据类型：键的类型只能为字符串，值支持五种数据类型：字符串(String)、列表(List)、集合(Set)、散列表(Hash)、有序集合(Zset)。存储方式：数据存在内存中，读写速度快。应用场景：缓存、分布式锁、事务处理、持久化、LUA脚本执行、LRU驱动事件、多种集群方案。
2025-01-13 20:55:12
1188
原创 【大模型框架-Java 版】LangChain4j 入门
Langchain for java 的框架探索中，Langchain 的结构化特性 将 AI 的灵活开放特性 和 Java 开发友好的面向对象特性 结合起来，这点引起极大舒适；从和 python 版本的对比看来，Langchain4j 在实现时加入了自己的思考，并不是照抄照搬，值得肯定；在具体的开发实践中，我从最初接触时的 0.32 过渡到了 最新的 0.36 版本，能感受到框架实现是越来越成熟的，对各类模型的集成和更新也是能跟上最新技术变革和变动的；
2025-01-04 18:41:20
1567
原创 【测试工具】 Postman 基本使用
作为一个常用的接口测试工具，postman具有交互性强，操作简单，具有协作能力、环境切换能力等优点。本文用于记录目前我使用postman的些许心得。
2025-01-04 18:12:38
1487
原创 Spring Security 原理、源码解析及进阶
Spring Security 是一个功能强大且高度可定制的身份认证和访问控制框架。它实际上是保护基于 Spring 的应用程序的标准。Spring Security是一个框架，侧重于为 Java应用程序 提供身份认证和授权。与所有 Spring 项目一样，Spring Security 的真正强大之处在于它可以轻松地扩展以满足定制需求。OAuth是一个关于授权（authorization）的开放网络标准，使得第三方应用可以使用该令牌在限定时间限定范围访问指定资源。
2024-09-02 12:00:01
1201
1
原创 AWS 专题学习 P15 (VPC、Network)
CIDR - IP 范围VPC - 虚拟私有云 => 我们定义了一个 IPv4 和 IPv6 CIDR 的列表子网 - 与 AZ 相关联，我们定义一个 CIDRInternet 网关 - 在 VPC 级别提供 IPv4 和 IPv6 的 Internet 访问路由表 - 必须编辑以添加子网到 IGW、VPC Peering 连接、VPC 端点等的路由跳板主机 - 公共 EC2 实例用于 SSH，并具有与私有子网中的 EC2 实例的 SSH 连接。
2024-01-31 12:00:00
1488
原创 AWS 专题学习 P13 (Advanced Identity)
在使用 EventBridge 时，当规则触发时，它需要对其指定的目标资源具有适当的权限。aws:RequestedRegion 限制 API 调用的区域。使用 托管策略 设置 IAM 实体可以获得的最大权限的高级功能。aws:SourceIp 限制 API 调用的客户端IP。IAM 权限边界 适用于用户和角色（不适用于组）可以确保 IAM 实体仅具有符合其职责的最小权限。所有账户可以进行统一计费 - 单一付款方式。提供 API 以自动化创建 AWS 账户。允许管理多个 AWS 账户。
2024-01-29 12:00:00
850
原创 AWS 专题学习 P11 (Machine Learning)
Rekognition：人脸检测、标记、名人识别Transcribe：音频转文本（例如字幕）Polly：文本转音频Translate：翻译Lex：构建对话机器人 - 聊天机器人Connect：云联系中心Comprehend：自然语言处理SageMaker：为每个开发人员和数据科学家提供机器学习Forecast：构建高度准确的预测Kendra：基于机器学习的搜索引擎Personalize：实时个性化推荐Textract：检测文档中的文本和数据。
2024-01-27 12:00:00
813
原创 AWS 专题学习 P12 (CloudWatch、CloudTrail、AWS Config)
Amazon EventBridge（前身为 CloudWatch Events）专题内容总览和系列博客目录。
2024-01-27 12:00:00
1533
原创 AWS 专题学习 P10 (Databases、 Data & Analytics)
托管的 PostgreSQL / MySQL / Oracle / SQL Server / MariaDB /自定义预置的 RDS 实例大小和EBS卷类型和大小存储的自动扩展功能支持读副本和多个可用区通过 IAM，安全组，KMS，SSL 在传输中提供安全性带有特定时间恢复功能（最多35天）的自动备份长期恢复的手动数据库快照托管和计划维护（有停机时间）支持 IAM 身份验证，与 Secrets Manager 集成。
2024-01-25 23:24:39
1496
原创 AWS 专题学习 P9 (API Gateway、Cognito、Serverless SA)
无服务器 REST API: HTTPS、API Gateway、Lambda、DynamoDB使用 Cognito 通过 STS 生成临时凭证来访问带有受限策略的 S3 存储桶。应用程序用户可以通过这种方式直接访问 AWS 资源。这种模式可以应用于DynamoDB、Lambda 等。使用 DAX 在 DynamoDB 上缓存读取操作在 API Gateway 层级上缓存 REST 请求使用 Cognito 和 STS 进行身份验证和授权的安全性。
2024-01-25 23:15:12
1404
原创 AWS 专题学习 P8 (ECS、EKS、Lambda、CloudFront、DynamoDB)
Docker 是一个用于部署应用程序的软件开发平台Docker 容器可以在任何操作系统上运行，应用程序运行在容器中应用程序运行过程相同，无论它们在何处运行 —> 行为可预测无兼容性问题，更易于维护和部署减少工作量使用案例：微服务架构、将应用程序从本地直接迁移到 AWS 云，…这是在 AWS 上启动托管 Kubernetes 集群的一种方法Kubernetes 是一个开源系统，用于自动部署、扩展和管理容器化（通常是 Docker）应用程序。
2024-01-20 21:55:00
2239
原创 AWS 专题学习 P7 (FSx、SQS、SNS)
在 AWS 上启动的第三方高性能文件系统，以下是一些 AWS 完全托管的服务：适用于 Windows 的 Amazon FSx（文件服务器）FSx for Windows 是完全托管的 Windows 文件系统共享驱动器支持 SMB 协议和 Windows NTFSMicrosoft Active Directory 集成、ACL、用户配额可以安装在 Linux EC2 实例上支持 Microsoft 的分布式文件系统 (DFS) 命名空间（跨多个 FS 的组文件）
2024-01-20 21:52:17
1983
原创 AWS 专题学习 P6 (CloudFront、Global Accelerator、Snow Family)
利用 AWS 内部网络路由到应用程序会为应用程序创建 2 个任播 IP任播 IP 直接将流量发送到边缘站点边缘站点将流量发送到应用程序适用于弹性 IP、EC2 实例、ALB、NLB、公共或私有在边缘位置创建数据时对其进行处理公路上的卡车、海上的轮船、地下的采矿站…这些地点可能有互联网访问受限/无法访问计算能力有限/不易获得我们设置 Snowball Edge / Snowcone 设备来进行边缘计算边缘计算的用例：预处理数据边缘机器学习对媒体流进行转码。
2024-01-18 23:18:02
1172
原创 AWS 专题学习 P5 (Classic SA、S3)
Web 应用程序的 3 层架构公有子网层私有子网层数据子网层用于存储 Session（替代方案：DynamoDB）用于缓存来自 RDS 的数据多可用区RDS用于存储用户数据用于扩展读取的读取副本用于灾难恢复的多可用区Elastic Beanstalk 是在 AWS 上部署应用程序的以开发人员为中心的视图它使用了我们之前见过的所有组件：EC2、ASG、ELB、RDS……托管服务自动处理容量配置、负载平衡、扩展、应用程序运行状况监控、实例配置……
2024-01-18 23:17:14
1524
原创 AWS 专题学习 P4 (Route 53)
将 Amazon友好的主机名转换为机器 IP 地址的域名系统DNS 是互联网的支柱DNS 使用分层命名结构。
2024-01-16 23:18:49
1583
原创 AWS 专题学习 P3 (RDS、Aurora、ElastiCache)
将 Aurora 实例的子集定义为自定义端点示例：对特定副本运行分析查询Reader Endpoint 通常在定义 Custom Endpoints 后不使用RDS 的方式是获得托管的关系数据库…Elasticache 是要管理 Redis 或 Memcach缓存是内存数据库，具有非常高的性能，低延迟有助于减少数据库的负载，以读取密集工作负载有助于使您的申请无状态AWS 负责 OS 维护 /修补，优化，设置，配置，监视，故障恢复和备份。
2024-01-16 23:17:55
1321
原创 AWS 专题学习 P1 (IAM、EC2 Basics)
IAM 服务 + EC2 服务EC2 实例：AMI (OS) + 实例大小（CPU + RAM）+ 存储 + 安全组 + EC2 用户数据安全组：附加到 EC2 实例的防火墙EC2 用户数据：实例首次启动时启动的脚本SSH：启动终端进入我们的 EC2 实例（端口 22）EC2 实例角色：链接到 IAM 角色购买选项：按需、竞价、预留（标准+可转换+计划）、专用主机、专用实例。
2024-01-14 23:04:11
1161
原创 AWS 亚马逊云服务专题学习
https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03/
2024-01-14 22:49:13
1782
原创 Mac M1芯片本地安装 hadoop 集群填坑之路
本文的目的是在 macOS 搭建基于docker 容器的hadoop集群，记录过程中遇到的问题和各种解决方案。
2022-10-15 16:01:25
2728
原创 Hadoop 基础【原理 + 实践】
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop 通常是指一个更宽泛的概念——Hadoop 生态圈。
2022-10-10 15:54:00
2042
原创 Redis Cluster 搭建指南
文章目录一、集群搭建1.1 环境准备1.2 配置参数二、集群启动和重启2.1 首次启动2.2 故障重启三、其他集群操作3.1 扩容3.2 收缩集群一、集群搭建1.1 环境准备服务器redis-5.0.x压缩包1.2 配置参数redis解压到工作目录下，新建cluster/文件夹，在cluster/目录下再分别新建6个对应端口号的子文件夹7000/、7001/、7002/、7003/、7004/、7005/;注：这里准备运行6个redis实例跑官方推荐的最低配置——三主三从。将默认配置文
2021-07-24 23:07:01
959
原创 windows下sqlplus远程连接oracle
一、下载准备二、环境配置三、远程连接打开cmd窗口sqlplus /nolog 进入SQL环境conn username/password@ip:port/服务名 [as sysdba]
2020-10-18 23:22:15
3284
原创 计网知识梳理(面向工作)
知识点梳理计算机网络主要指的就是TCP/IP协议栈，是互联网的基石容易忘是因为TCP/IP技术栈有一大部分都隐藏于操作系统的内核态，较少被接触。重点脉络：（1，反复记忆。2，多问为什么）一、TCP/IP协议体系的认知（1）分层。一部分处于用户态，一部分处于内核态。数据链路层，网络层，传输层封装于操作系统内核态。应用层存在于操作系统的用户空间，包括DNS，FTP，HTTPs，HTTP，工作中接触较多的是应用层的部分。但其它层的原理必须理解，面试考察。（2）层与层之间下层对上层是透明的，传输在
2020-10-09 23:24:02
553
原创 JAVA开发各种bug、踩坑记录
202009281. 反射相关bug描述：$$FastClassBySpringCGLIB$$ invoke()错误这个错误很难直接定位，实际问题通常是生成某种对象失败。解决：https://my.oschina.net/u/1000241/blog/19231882. mybatis使用bug描述：<if test="field='value'"></if>if判断不生效解决：field变量的类型是字符串型和字符型不匹配，需要转换，正确示
2020-09-28 18:00:43
4889
1
原创 mapper适配【从mysql到oracle】
mapper从mysql适配支持oracle的注意点：主要方面有：函数兼容、分页兼容、关键字兼容、空值兼容、自增兼容
2020-09-25 22:57:39
599
AWS 学习SAA 认证学习资料 PDF
2024-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人