chatbox中模型提供不含ollama

### Chatbox 模型不含 Ollama 的替代方案 对于寻求不依赖于Ollama的Chatbox模型解决方案，可以考虑其他开源框架和平台来实现这一目标。以下是几个可行的选择： #### 使用 Hugging Face Transformers 和 Gradio 构建自定义聊天机器人 Hugging Face提供了丰富的预训练语言模型库，这些模型可以直接用于创建对话系统。Gradio是一个简单的工具，能够快速搭建交互式的Web界面。 ```python from transformers import pipeline, set_seed import gradio as gr set_seed(42) # 加载一个适合中文对话的任务管道 chat_pipeline = pipeline('conversational', model='microsoft/DialoGPT-medium') def respond_to_message(message): response = chat_pipeline([message]) return response[0]['generated_text'] iface = gr.Interface(fn=respond_to_message, inputs="text", outputs="text") iface.launch() ``` 此代码片段展示了如何利用`transformers`库中的DialoGPT模型以及Gradio来建立一个简易的在线聊天应用[^1]。 #### Streamlit 结合 LangChain 实现本地化部署 Streamlit是一种轻量级的应用程序开发环境，非常适合用来展示机器学习项目成果；而LangChain则是一系列优化过的自然语言处理组件集合。两者结合起来可以在个人计算机上轻松设置起功能完善的AI助手服务端口。 ```python import streamlit as st from langchain.chains.conversation.memory import ConversationBufferMemory from langchain.llms.transformers import TransformerLLM from langchain.prompts.prompt import PromptTemplate memory = ConversationBufferMemory() template = """The following is a friendly conversation between two people. {history} Human: {input} Assistant:""" PROMPT = PromptTemplate(input_variables=["history", "input"], template=template) @st.cache_resource(show_spinner=False) def load_model(): llm = TransformerLLM.from_pretrained("THUDM/chatglm-6b-int8") # 中文适配较好的大型语言模型 return llm model = load_model() if 'messages' not in st.session_state or st.sidebar.button('Clear History'): st.session_state.messages = [] for message in st.session_state.messages: with st.chat_message(message["role"]): st.markdown(message["content"]) prompt = PROMPT.format(history=memory.load_memory_variables({})['history'], input="") response = model.generate(prompt=prompt).strip() with st.chat_message("assistant"): st.markdown(response) memory.save_context({"input": prompt}, {"output": response}) st.session_state.messages.append({"role": "assistant", "content": response}) user_input = st.text_area(label="", placeholder="Type your question here...") if user_input and st.button('Send'): memory.save_context({"input": f"Human: {user_input}"}, {}) st.session_state.messages.append({"role": "human", "content": user_input}) st.experimental_rerun() ``` 这段Python脚本通过集成Streamlit与LangChain实现了基于浏览器访问的人机交流体验，并且支持多轮次会话记忆特性[^2]。