272 字
1 分钟
多模态聊天机器人 · 项目索引
01 - 多模态聊天机器人
本项目以 Gradio + LangChain + 阿里云百炼 为核心技术栈，支持文字、图片、语音三种输入方式，并通过
RunnableWithMessageHistory将多轮会话历史持久化到 SQLite。
本项目笔记
- 01_项目概览与技术栈 — 项目目标、输入输出形态、技术栈与关键设计决策
- 02_系统架构与回调流程 — 数据流、两步回调机制、Gradio history 格式与常量设计
- 03_语音识别与降级链路 — qwen3-asr-flash、sensevoice-v1、Data URI 与轮询流程
- 04_LangChain链路与会话历史 — Prompt、RunnableWithMessageHistory、SQLChatMessageHistory 与调用时序
- 05_图像处理与多模态消息组装 — 图片编码、content 组装与 Gradio 回调链
- 06_完整注释代码 — 全代码对照阅读与调用链回看
学完本项目你将掌握
- 多模态聊天系统从前端输入到模型响应的完整数据流
- 语音、图片、文字三种输入在同一条 LangChain 链路中的汇合方式
SQLChatMessageHistory、RunnableWithMessageHistory与 Gradio 回调在项目中的实际落法