四步构建RAG

# hugging face镜像设置，如果国内环境无法使用启用该设置
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 中文嵌入模型, 使用GPU
embeddings = HuggingFaceEmbeddings(
   model_name="BAAI/bge-small-zh-v1.5",
   model_kwargs={'device': 'cuda'},
   encode_kwargs={'normalize_embeddings': True}
)

from langchain_ollama import ChatOllama

# 配置大语言模型, 使用本地Ollama配置的 gemma3:4b 的量化模型
llm = ChatOllama(
    base_url="http://127.0.0.1:11434",
    model="gemma3-4b:Q4_K_M",
    temperature=0.7
)

answer = llm.invoke(prompt.format(question=question, context=docs_content))
# 替换\n
print(answer.content.replace("\\n", "\n"))

AttributeError: module 'pyarrow' has no attribute 'PyExtensionType'. Did you mean: 'ExtensionType'?

OSError: [Errno 22] Invalid argument: 'C:\\Users\\xxx\\.cache\\huggingface\\hub\\models--BAAI--bge-small-zh-v1.5\\snapshots\\7999e1d3359715c523056ef9478215996d62a620\\.\\config_sentence_transformers.json'

from dotenv import load_dotenv
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 加载环境变量
load_dotenv()
# 设置LlamaIndex的配置,使用本地Ollama大模型
Settings.llm = Ollama(
    model="gemma3-4b:Q4_K_M", base_url="http://127.0.0.1:11434", request_timeout=150
)
# 设置嵌入模型，使用HuggingFace的BGE小模型
Settings.embed_model = HuggingFaceEmbedding("BAAI/bge-small-zh-v1.5")

# 读取Markdown文件并创建索引
docs = SimpleDirectoryReader(
    input_files=["../../data/C1/markdown/easy-rl-chapter1.md"]
).load_data()

# 创建向量存储索引
index = VectorStoreIndex.from_documents(docs)

# 索引查询引擎
query_engine = index.as_query_engine()

# 打印索引的提示词
print(query_engine.get_prompts())
print("--" * 20)
# 执行查询并打印结果
print(query_engine.query("文中举了哪些例子?用中文回答。"))

Context information is below.
---------------------
{context_str}
---------------------
Given the context information and not prior knowledge, answer the query.
Query: {query_str}
Answer: 

文中举了以下例子：
**餐厅选择：** 利用是指去最喜欢的餐馆，因为知道那里菜很好；探索是指用手机搜索新餐馆并尝试。
**广告投放：** 利用是指采取最优的广告策略；探索是指换一种广告策略。
**油田开采：** 利用是指在已知有油的地方开采；探索是指在新的地方开采。
**玩游戏：** 比如玩《街头霸王》游戏，总是采取一个策略，比如蹲在角落然后出脚。

根据上下文，文中举了以下例子：
*   **餐馆选择：** 探索新的餐馆和利用已经熟悉的餐馆。
*   **广告策略：** 尝试新的广告策略和利用最优广告策略。
*   **油田挖掘：** 直接在已知地点挖油和在新的地点挖油。
*   **玩游戏（《街头霸王》）：** 采用特定策略，并尝试新的招式。
*   **象棋：** 赢棋获得正奖励，输棋获得负奖励。
*   **股票管理：** 奖励由股票获取的奖励与损失决定。
*   **雅达利游戏：** 奖励是增加或减少的游戏分数。
*   **MountainCar-v0 游戏：** 智能体控制小车移动，通过 Gym 库进行交互。

文中所举的例子包括：
*  **DeepMind 的走路智能体**：这个智能体通过举手来保持平衡，并能抵抗环境扰动。
*  **机械臂抓取**：使用多个机械臂进行训练，以学习统一的抓取算法，适用于不同形状的物体。
*  **OpenAI 的机械臂翻魔方**：先在虚拟环境中训练智能体，再应用到真实的机械臂上。
*  **穿衣智能体**：训练智能体来实现穿衣功能。
*  **走迷宫的例子**：智能体从起点到达终点，每走一步获得 -1 的奖励。
*  **选择餐馆的例子**：利用是指直接去最喜欢的餐馆，探索是指搜索新的餐馆。
*  **玩游戏《街头霸王》的例子**：利用是指一直出脚，探索是指使用“大招”。

文章中举了以下例子：
*   **DeepMind 的走路智能体:** 学习在曲折道路上走路，并发现举手可以保持平衡，从而更快前进。
*   **机械臂抓取:** 使用多个机械臂进行训练，学习抓取不同形状的物体，并可以针对不同物体使用最优抓取算法。
*   **OpenAI 的机械臂翻魔方:** 先在虚拟环境训练智能体，再应用到真实的机械臂上，最后改进后可以玩魔方。
*   **穿衣智能体:** 训练智能体实现穿衣功能，并可以抵抗扰动。
*   **雅达利游戏 Breakout:**  一个打砖块的游戏，展示了强化学习的挑战性，因为智能体无法获得即时的反馈，且观测数据不是独立同分布的。
希望这个回答对您有帮助！

文中所举的例子包括：
*   **OpenAI 的机械臂翻魔方:** 训练智能体在虚拟环境中学习如何通过手指动作来控制木块。
*   **穿衣服的智能体:** 训练智能体学习穿衣服的精细操作。
*   **雅达利游戏 Breakout:**  通过控制木板来击打砖块的游戏，用于说明延迟奖励和探索与利用之间的权衡。
*   **MountainCar-v0 例子:**  一个简单的上山任务，用于展示智能体与环境的交互，以及如何定义观测空间和动作空间。

文章中举了以下例子：
1.  **餐馆选择：** 利用是指去自己喜欢的餐馆，因为熟悉且知道菜品好；探索是指搜索新的餐馆并尝试。
2.  **广告策略：** 利用是指采用最优的广告策略；探索是指换一种广告策略。
3.  **挖油：** 利用是指在已知地点挖油；探索是指在新的地点挖油。
4.  **玩游戏（Breakout）：** 举例说明了打砖块游戏，以及智能体需要尝试不同的动作，并等待游戏结束才能知道哪些动作是有效的。
5.  **机械臂翻魔方：** OpenAI 设计的机械臂，先在虚拟环境训练，再应用到真实机械臂上。
6.  **穿衣服的智能体：** 训练智能体穿衣服，并加入扰动测试。
7.  **雅达利游戏 Breakout：** 作为一个具体的例子来说明强化学习的训练过程，强调了延迟奖励和探索-利用困境。
8.  **OpenAI 的 Gym 库：** 包括雅达利游戏 Breakout、Pong 游戏、机械臂翻魔方和穿衣服的智能体等环境。
9.  **OpenAI 的机械臂：**  用于翻魔方的机器人。
总而言之，文章通过一系列具体的例子，说明了强化学习与监督学习的区别，并阐述了探索-利用困境。

根据上下文，文中举了以下例子：
1.  **象棋选手**: 输赢棋局的奖励。
2.  **股票管理**: 根据股票获取的奖励与损失来确定奖励。
3.  **雅达利游戏**: 通过增加或减少游戏分数来确定奖励。
4.  **走迷宫**: 奖励为每走一步 -1。
5.  **MountainCar**: 智能体控制小车移动，并根据环境反馈给予奖励。
此外，文中还提到了强化学习智能体的类型，包括基于价值的智能体和基于策略的智能体，以及有模型强化学习智能体和免模型强化学习智能体。