【CPU版】LangChain+Qwen本地部署知识库整合包,一键启动

一可软件

yikeaigc文章主图.jpg


Langchain-Chatchat+Qwen 介绍

Langchain-Chatchat是一个基于本地知识库的问答应用,它利用了langchain的思想来实现。以下是对Langchain-Chatchat的详细介绍:

项目目标:

建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

项目特点:

依托于支持的开源LLM(大语言模型)与Embedding模型,可实现全部使用开源模型进行离线私有部署。

支持OpenAIGPT API的调用,并将在后续持续扩充对各类模型及模型API的接入。

硬件要求(以顺畅运行某些模型为例):

ChatGLM3-6B 最低显存要求为12GB,3060就可以

LLaMA3 至少需要16G显卡可用。

Qwen 无需显卡,CPU可用。

对于更大的模型,如Qwen-14B-Chat等14B模型,最低显存要求为30GB,推荐显卡为V100。

支持模型:

支持多款主流LLMs,如ChatGLM-2、LLaMA-2等。

支持多款embedding模型,如m3e等。

部署方式:

Langchain-Chatchat提供多种部署方式,包括通过AutoDL云平台、Docker镜像进行部署,也支持本地部署。

官网提供了详细的安装步骤和配置指南,方便用户根据自身需求选择合适的部署方式。

对于小白用户,我们提供了一件启动包。

应用场景与优势:

Langchain-Chatchat适用于需要私有化部署、数据安全保护及私域化服务的企业或个人。

其优势在于支持本地化运行,无需依赖外部网络服务,同时提供了灵活的配置选项和扩展性,可以满足不同场景下的需求。

Langchain-Chatchat是一个功能强大且灵活的本地知识库问答应用解决方案,它结合了多种开源模型和技术来实现高效、安全的本地化问答服务。


Langchain-Chatchat+Qwen 硬件及系统要求

系统:win10或win11系统,不支持win7及以下系统

内存:16以上

显卡:无需显卡,cpu可用

安装方法

一键安装,无需安装复杂环境。解压即用!

使用说明

解压安装包,必须解压至D盘根目录。

本工具,具体的教程请在导航栏-AI教程-工具教程中查看!

1、一键安装,无需安装复杂环境。解压即用!

2、本地知识库支持的文件类型(HTML,MD,JSON,JSONL,CSV,PDF,PNG,JPG, JPEG,BMP,EML,EPUB,XLSX,XLSD, PY,RST, RTF,SRTTSV,DOCX.DOC,XML,PPT.PPTX.TXT.HTM)

3、部署完成后,可能通Qwen向自己的本地知识库提出相应问题的答案,再结合Qwen输出让人满意的答案







微信二维码
验证码:

下载说明:公众号搜索:“AI软件合集”,回复:“验证码”,获取查看下载地址及解压密码!

注意:本站汇聚全网顶级AI工具,全站内容仅对VIP开放;非VIP,下载后不能正常运行。

运行说明:先运行授权工具,登录VIP账号密码,然后运行即可。

注意:工具类直接运行,文档类需安装WPS,视频类需安装PotPlayer。