本地运行开源大语言模型的利器—

随着开源大型语言模型的不断发展，如何在本地高效地运行这些模型成为了开发者们关注的焦点。Ollama便是为此而生，它支持在本地运行开源模型如Llama 2。通过本文，你将了解如何安装、配置和使用这个强大的工具，并结合代码实例来展示其强大功能。

技术背景介绍

Ollama的核心功能在于将模型的权重、配置和数据打包到一个Modelfile中，使得模型的部署和管理更加便捷。它充分优化了GPU的使用，并支持本地调用，极大地降低了模型应用的门槛。

核心原理解析

Ollama通过一个集成的环境，将模型的各个必要组件组合到一起，开发者只需通过简单的命令即可下载和加载模型。同时，Ollama与LangChain库无缝集成，使得在Python项目中调用模型变得非常简单。

代码实现演示

以下代码展示了如何使用Ollama加载和调用本地模型。我们将以bakllava模型为例，展示如何处理多模态输入（包括文本和图像）。

from langchain_core.messages import HumanMessage
from langchain_ollama import ChatOllama

# 使用bakllava模型
llm = ChatOllama(model="bakllava", temperature=0)

def prompt_func(data):
    text = data["text"]
    image = data["image"]

    image_part = {
        "type": "image_url",
        "image_url": f"data:image/jpeg;base64,{image}",
    }

    content_parts = []

    text_part = {"type": "text", "text": text}

    content_parts.append(image_part)
    content_parts.append(text_part)

    return [HumanMessage(content=content_parts)]

from langchain_core.output_parsers import StrOutputParser

# 链式调用模型并解析输出
chain = prompt_func | llm | StrOutputParser()
query_chain = chain.invoke(
    {"text": "What is the Dollar-based gross retention rate?", "image": image_b64}
)

print(query_chain)