GPT4All
Github: nomic-ai / gpt4all 是一个开源聊天机器人生态系统,它是基于大量干净的助手数据集进行训练的,包括代码、故事和对话。
以下示例介绍如何使用LangChain与”GPT4All”模型进行交互。
%pip install gpt4all > /dev/null
注意:您可能需要重启内核才能使用更新后的软件包。
导入 GPT4All
from langchain import PromptTemplate, LLMChain
from langchain.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
API 参考:
设置要传递给 LLM 的问题
template = """问题:{question}
回答:让我们逐步思考。"""
prompt = PromptTemplate(template=template, input_variables=["question"])
指定模型
要在本地运行,请下载一个兼容的 ggml 格式模型。
gpt4all 页面 有一个有用的 模型浏览器
部分:
- 选择一个感兴趣的模型
- 使用 UI 下载,并将
.bin
文件移动到local_path
(下文中注明)
有关更多信息,请访问 https://github.com/nomic-ai/gpt4all。
local_path = (
"./models/ggml-gpt4all-l13b-snoozy.bin" #替换为您所需的本地文件路径
)
callbacks = [StreamingStdOutCallbackHandler()]
llm = GPT4All(model=local_path, callbacks=callbacks, verbose=True)
llm = GPT4All(model=local_path, backend="gptj", callbacks=callbacks, verbose=True)
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "贾斯汀·比伯出生的那一年,哪支美式橄榄球队赢得了超级碗?"
llm_chain.run(question)
贾斯汀·比伯出生于1994年3月1日。1994年,牛仔队赢得了第28届超级碗。