使用Ollama和LangChain构建本地RAG系统

随着Gemma 2在Keras、PyTorch、Hugging Face transformers等多种格式的发布，Ollama格式也随之发布。在本篇博客中，我们将介绍如何使用Gemma 2的9B模型和LangChain框架构建一个完全本地化的RAG（检索增强生成）系统，并展示实际代码示例。

引言

随着自然语言处理技术的发展，构建一个高效、灵活的本地化RAG系统成为可能。RAG系统结合了检索和生成两种方法，通过检索相关文档并生成上下文相关的答案，提供高质量的响应。我们将使用Gemma 2模型、Nomic嵌入和ChromaDB来实现这个系统。

环境配置

首先，我们需要配置运行环境。确保安装了必要的依赖库：

pip install keras
pip install torch
pip install transformers
pip install ollama
pip install langchain
pip install chromadb

构建索引器

索引器是RAG系统的核心部分，它负责将原始文档进行分片、创建向量存储并设置嵌入。在本例中，我们使用Nomic嵌入和ChromaDB来构建索引器。

from langchain.embeddings import OllamaEmbeddings
from langchain.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.loaders import DirectoryLoader

# 初始化嵌入模型
embedder = OllamaEmbeddings(model="nomic")

# 加载文本文件
loader = DirectoryLoader(directory_path="path/to/text/files")
documents = loader.load()

# 分片文本
splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
split_docs = splitter.split_documents(documents)

# 创建向量存储
vector_store = Chroma(persist_directory="path/to/db", embedding=embedder)
vector_store.add_documents(split_docs)

构建RAG系统

在索引器构建完毕后，我们可以开始构建RAG系统。我们需要初始化Gemma 2模型，并将其与LangChain框架集成。

from langchain.llms import Ollama
from langchain.prompts import PromptTemplate
from langchain.chains import RetrievalQA

# 初始化LLM模型
llm = Ollama(model="gemma-2-9b", max_tokens=512, temperature=0.7)

# 定义提示模板
prompt_template = PromptTemplate(
    input_variables=["context", "question"],
    template="""
    使用以下上下文回答问题：
    上下文：{context}
    问题：{question}
    回答：
    """
)

# 构建检索QA链
retriever = vector_store.as_retriever(search_type="similarity", search_kwargs={"k": 5})
qa_chain = RetrievalQA(
    retriever=retriever,
    llm=llm,
    prompt_template=prompt_template
)

运行示例

我们将通过一个示例来展示如何使用这个RAG系统进行查询。假设我们有一段关于Alex Hormozi的视频脚本，并且我们希望从中检索并生成相关答案。

# 示例查询
question = "What is the rule of 100?"
result = qa_chain.run(question)
print(result)

# 输出示例
# "100法则指出，你每天应该进行100次主要操作来推广你的业务或让你的产品或服务为人所知。"

调试与优化

在构建RAG系统时，调试和优化是不可或缺的步骤。我们可以通过在代码中添加进度条和调试信息来了解系统的运行情况。

from langchain.debug import print_and_pass

# 添加进度条
embedder.show_progress = True

# 调试信息
qa_chain.debug_functions = [print_and_pass]

# 运行调试
debug_result = qa_chain.run(question)
print(debug_result)

通过调试，我们可以了解系统在处理文档和生成答案时的具体操作，并进行针对性的优化。

结论与展望

在本篇博客中，我们展示了如何使用Gemma 2模型和LangChain框架构建一个本地化的RAG系统。通过Nomic嵌入和ChromaDB，我们实现了一个高效的文档检索和生成系统。在未来的优化中，我们可以进一步调整提示模板、增加内存管理以及探索更多的检索和生成方法。

如果您有任何问题或建议，欢迎在评论区留言。如果您觉得本篇博客对您有所帮助，请点击喜欢和订阅。我们将在后续文章中继续探讨更多的自然语言处理技术和应用。