1
# pip install langchain-openai langchain-community faiss-cpu
2
from langchain_openai import OpenAIEmbeddings
3
from langchain_community.vectorstores import FAISS
4

5
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
6
vectorstore = FAISS.from_texts(
7
    ["LangChain 是 LLM 框架", "RAG 是检索增强生成", "Agent 可以使用工具"],
8
    embeddings,
9
)
10

11
# 转换为 Retriever
12
retriever = vectorstore.as_retriever(
13
    search_type="similarity",     # 搜索类型
14
    search_kwargs={"k": 3},       # 返回 top-k 个结果
15
)
16

17
# 使用 Retriever 检索
18
docs = retriever.invoke("什么是 RAG？")
19
for doc in docs:
20
    print(doc.page_content)

1
# pip install langchain langchain-openai langchain-community faiss-cpu
2
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
3
from langchain_community.vectorstores import FAISS
4
from langchain_core.prompts import ChatPromptTemplate
5
from langchain_core.output_parsers import StrOutputParser
6
from langchain_core.runnables import RunnablePassthrough
7

8
# ---- 1. 构建向量数据库 ----
9
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
10
vectorstore = FAISS.from_texts(
11
    [
12
        "LangChain 由 Harrison Chase 于 2022 年 10 月开源。",
13
        "LCEL 使用管道符 | 来串联组件，是推荐的编排方式。",
14
        "LangGraph 用于构建有状态的 Agent 工作流。",
15
        "RAG 的核心思想是先检索、再生成。",
16
        "向量数据库通过 ANN 算法实现高效的相似度搜索。",
17
    ],
18
    embeddings,
19
)
20
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
21

22
# ---- 2. 定义 Prompt ----
23
prompt = ChatPromptTemplate.from_messages([
24
    ("system",
25
     "你是一个知识库助手。请根据以下参考资料回答用户的问题。"
26
     "如果参考资料中没有相关信息，请如实说明'根据已有资料无法回答'。\n\n"
27
     "参考资料：\n{context}"),
28
    ("human", "{question}"),
29
])
30

31
# ---- 3. 辅助函数：将 Document 列表格式化为文本 ----
32
def format_docs(docs):
33
    return "\n\n".join(
34
        f"[来源: {doc.metadata.get('source', '未知')}]\n{doc.page_content}"
35
        for doc in docs
36
    )
37

38
# ---- 4. 用 LCEL 组装 RAG Chain ----
39
llm = ChatOpenAI(model="gpt-4o", temperature=0)
40

41
rag_chain = (
42
    {
43
        "context": retriever | format_docs,   # 检索 + 格式化
44
        "question": RunnablePassthrough(),      # 直接传递用户问题
45
    }
46
    | prompt        # 拼接 Prompt
47
    | llm           # 调用 LLM
48
    | StrOutputParser()  # 提取文本
49
)
50

51
# ---- 5. 执行 ----
52
answer = rag_chain.invoke("LangChain 是什么时候开源的？")
53
print(answer)
54

55
# 流式输出
56
for chunk in rag_chain.stream("LCEL 是什么？"):
57
    print(chunk, end="", flush=True)

1
# pip install langchain langchain-openai langchain-community faiss-cpu
2
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
3
from langchain_community.vectorstores import FAISS
4
from langchain_core.prompts import ChatPromptTemplate
5
from langchain.chains.combine_documents import create_stuff_documents_chain
6
from langchain.chains.retrieval import create_retrieval_chain
7

8
# ---- 1. 准备向量数据库和检索器 ----
9
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
10
vectorstore = FAISS.from_texts(
11
    [
12
        "Python 3.12 引入了类型参数语法（PEP 695）。",
13
        "Python 的 GIL 在 3.13 中可以被禁用（PEP 703）。",
14
        "asyncio 是 Python 的异步编程标准库。",
15
        "FastAPI 是基于 Starlette 和 Pydantic 的高性能 Web 框架。",
16
    ],
17
    embeddings,
18
)
19
retriever = vectorstore.as_retriever(search_kwargs={"k": 2})
20

21
# ---- 2. 创建文档链 ----
22
llm = ChatOpenAI(model="gpt-4o", temperature=0)
23

24
system_prompt = (
25
    "你是一个技术问答助手。请基于以下参考资料回答问题。\n\n"
26
    "参考资料：\n{context}"
27
)
28

29
prompt = ChatPromptTemplate.from_messages([
30
    ("system", system_prompt),
31
    ("human", "{input}"),
32
])
33

34
# create_stuff_documents_chain: 将检索到的文档"塞入"Prompt
35
document_chain = create_stuff_documents_chain(llm, prompt)
36

37
# ---- 3. 创建检索链 ----
38
# create_retrieval_chain: 自动执行 检索 → 文档拼接 → 生成
39
retrieval_chain = create_retrieval_chain(retriever, document_chain)
40

41
# ---- 4. 执行 ----
42
result = retrieval_chain.invoke({"input": "Python 3.13 有什么重要变化？"})
43

44
print("回答:", result["answer"])                  # LLM 的回答
45
print("参考文档数:", len(result["context"]))      # 检索到的原始文档
46
print("来源:", result["context"][0].page_content)  # 可以追溯来源

1
# pip install langchain langchain-openai langchain-community langchain-text-splitters faiss-cpu pypdf
2
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
3
from langchain_community.document_loaders import DirectoryLoader, PyPDFLoader
4
from langchain_text_splitters import RecursiveCharacterTextSplitter
5
from langchain_community.vectorstores import FAISS
6
from langchain_core.prompts import ChatPromptTemplate
7
from langchain.chains.combine_documents import create_stuff_documents_chain
8
from langchain.chains.retrieval import create_retrieval_chain
9

10
# ========== 阶段一：离线索引（只需执行一次） ==========
11

12
# 1. 加载 → 2. 分割 → 3. 向量化 → 4. 存储
13
loader = DirectoryLoader("./knowledge_base/", glob="**/*.pdf",
14
                         loader_cls=PyPDFLoader, show_progress=True)
15
raw_docs = loader.load()
16

17
splitter = RecursiveCharacterTextSplitter(
18
    chunk_size=800, chunk_overlap=80,
19
    separators=["\n\n", "\n", "。", "！", "？", "；", "，", " ", ""],
20
)
21
chunks = splitter.split_documents(raw_docs)
22

23
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
24
vectorstore = FAISS.from_documents(chunks, embeddings)
25
vectorstore.save_local("./faiss_knowledge_base")  # 持久化
26

27
# ========== 阶段二：在线查询（每次提问时执行） ==========
28

29
vectorstore = FAISS.load_local(
30
    "./faiss_knowledge_base", embeddings, allow_dangerous_deserialization=True,
31
)
32
retriever = vectorstore.as_retriever(
33
    search_type="mmr", search_kwargs={"k": 4, "fetch_k": 10},
34
)
35

36
llm = ChatOpenAI(model="gpt-4o", temperature=0)
37
prompt = ChatPromptTemplate.from_messages([
38
    ("system",
39
     "你是知识库助手。请严格根据参考资料回答，无答案请说明。\n\n"
40
     "参考资料：\n{context}"),
41
    ("human", "{input}"),
42
])
43

44
rag_chain = create_retrieval_chain(
45
    retriever, create_stuff_documents_chain(llm, prompt),
46
)
47

48
result = rag_chain.invoke({"input": "文档中关于 XX 的说明是什么？"})
49
print("回答:", result["answer"])
50
print("来源:", [doc.metadata.get("source") for doc in result["context"]])

1
# pip install langchain langchain-openai langchain-community faiss-cpu
2
from langchain.retrievers.multi_query import MultiQueryRetriever
3
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
4
from langchain_community.vectorstores import FAISS
5

6
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
7
vectorstore = FAISS.from_texts(
8
    ["向量数据库使用 ANN 算法进行高效搜索。",
9
     "FAISS 支持 L2 距离和内积两种度量方式。",
10
     "HNSW 是一种高效的近似最近邻搜索算法。"],
11
    embeddings,
12
)
13

14
llm = ChatOpenAI(model="gpt-4o", temperature=0)
15
multi_retriever = MultiQueryRetriever.from_llm(
16
    retriever=vectorstore.as_retriever(search_kwargs={"k": 3}),
17
    llm=llm,
18
)
19

20
# LLM 会自动将问题改写为多个角度的查询，分别检索后合并去重
21
results = multi_retriever.invoke("向量搜索是怎么工作的？")
22
print(f"检索到 {len(results)} 个相关文档")

1
# pip install langchain langchain-openai langchain-community faiss-cpu langchain-cohere
2
from langchain.retrievers import ContextualCompressionRetriever
3
from langchain_cohere import CohereRerank
4
from langchain_openai import OpenAIEmbeddings
5
from langchain_community.vectorstores import FAISS
6

7
# 初始检索器（召回较多候选）
8
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
9
vectorstore = FAISS.from_texts(
10
    [
11
        "Python 是一种解释型编程语言。",
12
        "Python 的创造者是 Guido van Rossum。",
13
        "蟒蛇（Python）是一种大型无毒蛇类。",      # 语义干扰项
14
        "Python 3.12 引入了更好的错误消息。",
15
        "PyPI 是 Python 的包管理仓库。",
16
    ],
17
    embeddings,
18
)
19
base_retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
20

21
# 重排序器
22
reranker = CohereRerank(
23
    model="rerank-v3.5",
24
    top_n=3,  # 重排后只保留 top 3
25
)
26

27
# 组合：初始检索 + 重排序
28
compression_retriever = ContextualCompressionRetriever(
29
    base_compressor=reranker,
30
    base_retriever=base_retriever,
31
)
32

33
results = compression_retriever.invoke("Python 编程语言的特点")
34
# 重排序后，"蟒蛇"相关的干扰结果会被排到后面
35
for doc in results:
36
    print(doc.page_content)