这是一个功能强大的本地化多模态 AI 助手项目。 前端界面使用 Gradio 构建,提供流式响应带来的流畅交互体验。
- 💬 本地大模型对话: 支持与本地部署的大语言模型(如 LLaMA, GPT-4All 等)进行流畅的自然语言对话,支持流式输出。
- 🖼️ 图片生成 (
/image): 集成 Stable Diffusion,通过文本描述生成精美图片。- 指令示例:
/image 一只在太空漫步的猫
- 指令示例:
- 🔍 联网搜索 (
/search): 集成搜索引擎(Bing/Google),让 AI 能够回答即时性问题。- 指令示例:
/search 今天北京的天气怎么样
- 指令示例:
- 🕸️ 网页内容总结 (
/fetch): 抓取指定 URL 的网页内容,并由 AI 进行总结或回答相关问题。- 指令示例:
/fetch https://example.com/article
- 指令示例:
- 📄 文档问答 (
/file): 支持上传.txt文本文件,并针对文件内容进行特定问答。- 指令示例: 上传文件后,输入
/file 文件的主要观点是什么?
- 指令示例: 上传文件后,输入
- 🧹 一键清理: 提供清除历史对话功能的按钮。
| 功能 | 指令前缀/操作 | 说明 |
|---|---|---|
| 图片生成 | /image [描述] |
调用 Stable Diffusion 生成图片。 |
| 联网搜索 | /search [关键词] |
搜索网络信息并由 AI 整合回答。 |
| 网页总结 | /fetch [URL] |
获取网页内容并总结。 |
| 文档上传 | 点击 📁 按钮 |
目前支持 .txt 文件。上传后可针对文件内容提问。 |
| 文档问答 | /file [问题] |
需先上传文件,针对其内容提问。 |
app.py: Gradio 主程序,处理 UI 和交互逻辑。chat.py: 处理与 LLM 的聊天接口(OpenAI 兼容协议)。image_generate.py: 图片生成逻辑,调用 LocalAI 的 Image API。search.py: 搜索功能实现。fetch.py: 网页抓取与解析。pdf.py: (文件名暂定) 包含文档处理逻辑,目前主要处理 txt 内容。LocalAI/: 包含 LocalAI 的部署配置。