upstream/mi-gpt
1
0
Fork 0
mirror of https://github.com/idootop/mi-gpt.git synced 2025-04-06 17:40:34 +00:00
Code Issues Actions Packages Projects Releases Wiki Activity

docs: 添加部署和接入本地大语言模型的教程

Browse Source
This commit is contained in:
WJG 2024-06-14 00:25:26 +08:00
parent 176c576b8d
commit 4aed353487
No known key found for this signature in database
GPG Key ID: 258474EF8590014A
2 changed files with 7 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

6
docs/faq.md
View File

@ -166,6 +166,12 @@ OPENAI_MODEL=moonshot-v1-8k
OPENAI_API_KEY=$MOONSHOT_API_KEY
```
当然，对于其他不兼容 OpenAI API 的大模型，比如豆包大模型、文心一言等，你也可以通过第三方的 API 聚合工具将其转换为 OpenAI API 兼容的格式，比如：[One API](https://github.com/songquanpeng/one-api)，然后修改对应的环境变量值即可完成接入。
### Q：我想在本地部署大模型，如何在本项目中使用？
你可以使用 [Ollama](https://github.com/ollama)、[LM Studio](https://lmstudio.ai/)、[mistral.rs](https://github.com/EricLBuehler/mistral.rs) 等项目在本地部署大模型，它们都开箱自带兼容 OpenAI 的 API 服务，修改对应的环境变量值即可完成接入。
### Q：提示“LLM 响应异常 404 The model `gpt-4o` does not exist”
当前 OpenAI 账号没有使用 `gpt-4` 系列模型的权限，请切换到 `gpt-3` 系列模型，比如：`gpt-3.5-turbo`，相关 [issue](https://github.com/idootop/mi-gpt/issues/30#issuecomment-2154656498)。

2
docs/todo.md
View File

@ -22,6 +22,6 @@
- ✅ 添加对其他品牌音箱的支持情况的说明 https://github.com/idootop/mi-gpt/issues/83
- ✅ 添加“小爱同学”唤醒词的相关说明 https://github.com/idootop/mi-gpt/issues/84
- ✅ 添加进入唤醒模式时小爱莫名开始播放歌曲的说明 https://github.com/idootop/mi-gpt/issues/71
- 添加部署和接入本地大语言模型的教程 https://github.com/idootop/mi-gpt/issues/82
- ✅ 添加部署和接入本地大语言模型的教程 https://github.com/idootop/mi-gpt/issues/82
- 添加常见小爱音箱型号的支持情况和参数列表
- 添加更详细的使用和配置视频教程