LLM训练出来虽然知道很多信息,但是对于企业私有数据,大语言模型还是不知道的,许多LLM应用程序都需要查询企业私有数据,然后把私有数据作为背景信息拼接到提示词里面,丢给大模型,让大模型根据背景信息回答问题。LangChain提供了加载、转换、存储和查询数据的框架组件
LangChain针对私有数据的处理组件包括:
- 文档加载器:支持从不同的来源加载文档数据
- 文档转换器:拆分文档,将文档转换为Q&A格式,删除冗余文档等
- 文本嵌入模型:将非结构化文本转换为特征向量
- 向量存储器:存储和搜索向量数据
- 检索器:查询你的数据