6 个在本地运行大模型的最佳 LLM 工具

最新推荐文章于 2025-06-07 14:26:32 发布

牛马尼格

最新推荐文章于 2025-06-07 14:26:32 发布

阅读量1.2k

点赞数 21

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签：人工智能

本文链接：https://blog.csdn.net/u010291330/article/details/144267411

本地运行 LLM 的工具

运行ChatGPT和Claude等大型语言模型 (LLM)通常需要将数据发送到OpenAI和其他 AI 模型提供商管理的服务器。虽然这些服务是安全的，但一些企业更愿意将数据完全离线，以获得更好的隐私。

本文介绍了开发人员可以用来在本地运行和测试 LLM 的六大工具，确保他们的数据永远不会离开他们的设备，类似于端到端加密保护隐私的方式。

为什么要使用本地法学硕士 (LLM)？

当用户使用LM Studio等工具运行本地 LLM 时，它不会收集用户数据或跟踪用户的操作。它可让您的所有聊天数据保留在本地计算机上，而无需与 AI/ML 服务器共享。

隐私：您可以以多轮方式提示本地 LLM，而无需提示数据离开本地主机。
自定义选项：本地 LLM 为 CPU 线程、温度、上下文长度、GPU 设置等提供高级配置。这类似于 OpenAI 的游乐场。
支持和安全：它们提供与 OpenAI 或 Claude 类似的支持和安全。
订阅和费用：这些工具可免费使用，无需每月订阅。对于像 OpenAI 这样的云服务，每个 API 请求都需要付费。本地 LLM 有助于节省资金，因为无需每月订阅。
离线支持：您可以在离线时加载和连接大型语言模型。
连接性：有时，连接到 OpenAI 等云服务可能会导致信号和连接不佳。

六大免费本地 LLM 工具

根据您的具体使用情况，您可以选择多种离线 LLM 应用程序。其中一些工具完全免费供个人和商业使用。其他工具可能需要向他们发送商业用途请求。有几种本地 LLM 工具可用于 Mac、Windows 和 Linux。以下是您可以选择的六种最佳工具。

1. LM 工作室

LM Studio可以运行任何格式的模型文件gguf。它支持来自Llama 3.1、Phi 3、Mistral和Gemmagguf等模型提供商的文件。要使用 LM Studio，请访问上面的链接并为您的机器下载应用程序。启动 LM Studio 后，主页会显示要下载和测试的顶级 LLM。还有一个搜索栏，用于筛选和下载来自不同 AI 提供商的特定模型。

搜索特定公司的模型会出现几种模型，从小到大量化。根据您的机器，LM Studio 使用兼容性猜测来突出显示可在该机器或平台上运行的模型。

LM Studio 的主要功能

LM Studio 提供与 ChatGPT 类似的功能和特性。它具有多种功能。以下重点介绍 LM Studio 的主要功能。

模型参数定制：这允许您调整温度、最大令牌、频率惩罚等。
聊天记录：允许您保存提示以供日后使用。
参数和 UI 提示：您可以将鼠标悬停在信息按钮上以查找模型参数和术语。
跨平台：LM Studio 适用于 Linux、Mac 和 Windows 操作系统。
机器规格检查：LM Studio 检查计算机规格（如 GPU 和内存）并报告兼容型号。这可以防止下载可能无法在特定机器上运行的模型。
AI 聊天和游乐场：以多轮聊天格式与大型语言模型进行聊天，并通过同时加载多个 LLM 进行实验。
面向开发人员的本地推理服务器：允许开发人员设置类似于 OpenAI 的 API 的本地 HTTP 服务器。

本地服务器提供示例 Curl 和 Python 客户端请求。此功能有助于使用 LM Studio 构建 AI 应用程序以访问特定的 LLM。

# 示例：重用您现有的 OpenAI 设置
from openai import OpenAI

# 指向本地服务器
client = OpenAI(base_url= "http://localhost:1234/v1" , api_key= "lm-studio" )

finish = client.chat.completions.create(
model= "TheBloke/Mistral-7B-Instruct-v0.1-GGUF" ,
messages=[
{ "role" : "system" , "content" : "Always an