一架梯子,一头程序猿,仰望星空!
LangChain教程(Python版本) > 内容正文

LangChain整合GPT4All模型


GPT4All

Github: nomic-ai / gpt4all 是一个开源聊天机器人生态系统,它是基于大量干净的助手数据集进行训练的,包括代码、故事和对话。

以下示例介绍如何使用LangChain与”GPT4All”模型进行交互。

%pip install gpt4all > /dev/null
注意:您可能需要重启内核才能使用更新后的软件包。

导入 GPT4All

from langchain import PromptTemplate, LLMChain
from langchain.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

API 参考:

设置要传递给 LLM 的问题

template = """问题:{question}

回答:让我们逐步思考。"""

prompt = PromptTemplate(template=template, input_variables=["question"])

指定模型

要在本地运行,请下载一个兼容的 ggml 格式模型。

gpt4all 页面 有一个有用的 模型浏览器 部分:

  • 选择一个感兴趣的模型
  • 使用 UI 下载,并将 .bin 文件移动到 local_path(下文中注明)

有关更多信息,请访问 https://github.com/nomic-ai/gpt4all


local_path = (
    "./models/ggml-gpt4all-l13b-snoozy.bin"  #替换为您所需的本地文件路径
)
callbacks = [StreamingStdOutCallbackHandler()]

llm = GPT4All(model=local_path, callbacks=callbacks, verbose=True)

llm = GPT4All(model=local_path, backend="gptj", callbacks=callbacks, verbose=True)
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "贾斯汀·比伯出生的那一年,哪支美式橄榄球队赢得了超级碗?"

llm_chain.run(question)

贾斯汀·比伯出生于1994年3月1日。1994年,牛仔队赢得了第28届超级碗。