经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » 人工智能基础 » 查看文章
大模型应用(1) 搭建本地知识库
来源:cnblogs  作者:N3ptune  时间:2024/1/22 16:43:20  对本文有异议

本文将讲述如何在本地部署大模型服务,并使用Embeeding、向量数据库和LangChain构建本地知识库

本地部署LLM

通常使用LangChain会去调用OpenAI的服务,但是我们在使用OpenAI服务时,但经常会遇到很多阻力,比如付费、网络不稳定等。因此我们可以在下载一个较小的大模型到本地,并将其部署成OpenAI服务,这样也便于我们使用LangChain去直接调用。

首先需要下载FastChat:

  1. pip3 install "fschat[model_worker,webui]" -i https://pypi.tuna.tsinghua.edu.cn/simple

部署很简单,只要开启三个终端分别运行以下命令

启动控制器:

  1. python -m fastchat.serve.controller --host 0.0.0.0

启动worker,model-path 要指定模型的路径

  1. python -m fastchat.serve.model_worker --model-path /to/path/ --host 0.0.0.0

最后执行命令:

  1. python -m fastchat.serve.openai_api_server --host 0.0.0.0

这样就可以将模型启动为一个OpenAI服务

这里用的是千问7B大模型,可以执行如下代码进行下载:

  1. from modelscope.hub.snapshot_download import snapshot_download
  2. model_dir = snapshot_download('qwen/Qwen-7B-Chat', cache_dir='./to/path')

Embeeding

Embedding 技术已经作为「基本操作」广泛应用于推荐、广告、搜索等互联网核心领域中。Embedding 是用一个低维稠密向量来表示一个对象,使得这个向量能够表达相应对象的某些特征,同时向量之间的距离能反应对象之间的相似性。我们要基于大模型搭建本地知识库,那就必须要用到Embeeding了,将文本数据转化成向量,只有转化成向量,才便于计算机处理。将这些向量存到数据库后,我们可以将要提的问题同样适用Embeeding转化为向量,然后就行语义相似度查询,获取相关的知识信息。

使用如下代码就可以轻松的将语言转化为向量:

  1. from sentence_transformers import SentenceTransformer
  2. model = SentenceTransformer('all-mpnet-base-v2')

向量数据库

上文提到,我们会将语句转化为的向量存储到数据库中,这个数据库就是向量数据库。向量数据库主要用于图像检索、音频检索、文本检索等领域,其主要特点是能够高效地存储和检索大规模的向量数据,它用了专门的数据结构和算法来处理向量之间的相似性计算和查询。 通过构建索引结构,向量数据库可以快速找到最相似的向量,以满足各种应用场景中的查询需求。

我们将一些文档信息,也就是知识,分块存到向量数据库中,对于用户的问题,使用 Embedding 的相似度进行语义搜索的技术。然后,我们将和问题语义最接近的前几条内容,作为提示语的一部分给到 AI,就相当于给AI配备一套知识库。

LangChain

最后后使用LangChain组装上述所有的功能,实现大模型外挂知识库:

  1. from langchain.chat_models import ChatOpenAI
  2. from langchain.text_splitter import RecursiveCharacterTextSplitter
  3. from langchain.document_loaders import TextLoader
  4. from langchain.document_loaders import PyPDFLoader
  5. from langchain.document_loaders import Docx2txtLoader
  6. from langchain.embeddings import ModelScopeEmbeddings
  7. from langchain.vectorstores import Qdrant
  8. from langchain.retrievers.multi_query import MultiQueryRetriever
  9. from langchain.chains import RetrievalQA
  10. import os
  11. # 连接本地部署的OpenAI服务
  12. model = ChatOpenAI(
  13. streaming=True,
  14. verbose=True,
  15. callbacks=[],
  16. openai_api_key="none",
  17. openai_api_base="http://127.0.0.1:8000/v1",
  18. model_name="Qwen-7B-Chat",
  19. temperature=0
  20. )
  21. # 加载Documents
  22. base_dir = './files' # 文档的存放目录
  23. documents = []
  24. for file in os.listdir(base_dir):
  25. # 完整的文件路径
  26. file_path = os.path.join(base_dir, file)
  27. if file.endswith('.pdf'):
  28. loader = PyPDFLoader(file_path)
  29. documents.extend(loader.load())
  30. elif file.endswith('.docx'):
  31. loader = Docx2txtLoader(file_path)
  32. documents.extend(loader.load())
  33. elif file.endswith('.txt'):
  34. loader = TextLoader(file_path)
  35. documents.extend(loader.load())
  36. text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10) # 文档分割器
  37. chunked_documents = text_splitter.split_documents(documents)
  38. # 创建 embeedings
  39. model_id = "damo/nlp_corom_sentence-embedding_chinese-base"
  40. embeddings = ModelScopeEmbeddings(
  41. model_id=model_id)
  42. # 加载文档到向量数据库
  43. vectorstore = Qdrant.from_documents(
  44. documents=chunked_documents, # 以分块的文档
  45. embedding=embeddings, # 用OpenAI的Embedding Model做嵌入
  46. location=":memory:", # in-memory 存储
  47. collection_name="documents") # 指定collection_name
  48. # 构建一个MultiQueryRetriever
  49. retriever_from_llm = MultiQueryRetriever.from_llm(retriever=vectorstore.as_retriever(), llm=model)
  50. # 实例化一个RetrievalQA链
  51. qa_chain = RetrievalQA.from_chain_type(model, retriever=retriever_from_llm)
  52. result = qa_chain("填入你的问题")
  53. print(result)

在上面代码中,首先连接本地部署的OpenAI服务,创建出了model,随后使用 RecursiveCharacterTextSplitter 进行文本分割,设置一个文档块大小为200,重叠字符长度为10。之后初始化Embeeding模型,并使用Qdrant作为向量数据库,读如文档数据并进行Embeeding将自然语言存储成向量。之后查询器使用了MultiQueryRetriever,其特点是使用语言模型从不同的视角为给定的用户输入查询生成多个查询。 然后使用这些查询来检索一组相关文档。下一步,使用RetrievalQA构建了一个Chain,作用是先检索后生成,即检索增强生成。

到这里就完成构建了。

原文链接:https://www.cnblogs.com/N3ptune/p/17978538

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号