feat: 添加Ollama服务支持嵌入模型部署 [AC-AISVC-01]
- docker-compose.yaml 添加 Ollama 容器 - 更新 .env.example 添加 Ollama 配置 - README 添加模型拉取步骤和架构图更新
This commit is contained in:
parent
0b435a4b57
commit
f2d29dc2c4
|
|
@ -13,5 +13,6 @@ AI_SERVICE_LLM_MODEL=gpt-4o-mini
|
|||
# AI_SERVICE_LLM_BASE_URL=https://api.deepseek.com/v1
|
||||
# AI_SERVICE_LLM_MODEL=deepseek-chat
|
||||
|
||||
# Ollama Configuration (optional)
|
||||
# AI_SERVICE_OLLAMA_BASE_URL=http://ollama:11434
|
||||
# Ollama Configuration (for embedding model)
|
||||
AI_SERVICE_OLLAMA_BASE_URL=http://ollama:11434
|
||||
AI_SERVICE_OLLAMA_EMBEDDING_MODEL=nomic-embed-text
|
||||
|
|
|
|||
30
README.md
30
README.md
|
|
@ -73,7 +73,16 @@ AI_SERVICE_LLM_MODEL=gpt-4o-mini
|
|||
docker-compose up -d --build
|
||||
```
|
||||
|
||||
#### 4. 验证服务
|
||||
#### 4. 拉取嵌入模型
|
||||
|
||||
服务启动后,需要在 Ollama 容器中拉取 nomic-embed-text 模型:
|
||||
|
||||
```bash
|
||||
# 进入 Ollama 容器拉取模型
|
||||
docker exec -it ai-ollama ollama pull nomic-embed-text
|
||||
```
|
||||
|
||||
#### 5. 验证服务
|
||||
|
||||
```bash
|
||||
# 检查服务状态
|
||||
|
|
@ -83,7 +92,7 @@ docker-compose ps
|
|||
docker-compose logs -f ai-service
|
||||
```
|
||||
|
||||
#### 5. 访问服务
|
||||
#### 6. 访问服务
|
||||
|
||||
| 服务 | 地址 | 说明 |
|
||||
|------|------|------|
|
||||
|
|
@ -91,6 +100,7 @@ docker-compose logs -f ai-service
|
|||
| 后端 API | http://服务器IP:8080 | FastAPI 服务 |
|
||||
| API 文档 | http://服务器IP:8080/docs | Swagger UI |
|
||||
| Qdrant 控制台 | http://服务器IP:6333/dashboard | 向量数据库管理 |
|
||||
| Ollama API | http://服务器IP:11434 | 嵌入模型服务 |
|
||||
|
||||
## 服务架构
|
||||
|
||||
|
|
@ -112,14 +122,14 @@ docker-compose logs -f ai-service
|
|||
│ - FastAPI 后端服务 │
|
||||
│ - RAG / LLM / 知识库管理 │
|
||||
└─────────────────────────────────────────────────────────┘
|
||||
│ │
|
||||
▼ ▼
|
||||
┌──────────────────┐ ┌──────────────────┐
|
||||
│ PostgreSQL │ │ Qdrant │
|
||||
│ (端口5432) │ │ (端口6333) │
|
||||
│ - 会话存储 │ │ - 向量存储 │
|
||||
│ - 知识库元数据 │ │ - 文档索引 │
|
||||
└──────────────────┘ └──────────────────┘
|
||||
│ │ │
|
||||
▼ ▼ ▼
|
||||
┌──────────────────┐ ┌──────────────────┐ ┌──────────────────┐
|
||||
│ PostgreSQL │ │ Qdrant │ │ Ollama │
|
||||
│ (端口5432) │ │ (端口6333) │ │ (端口11434) │
|
||||
│ - 会话存储 │ │ - 向量存储 │ │ - nomic-embed │
|
||||
│ - 知识库元数据 │ │ - 文档索引 │ │ - 嵌入模型 │
|
||||
└──────────────────┘ └──────────────────┘ └──────────────────┘
|
||||
```
|
||||
|
||||
## 常用命令
|
||||
|
|
|
|||
|
|
@ -79,6 +79,21 @@ services:
|
|||
networks:
|
||||
- ai-network
|
||||
|
||||
ollama:
|
||||
image: ollama/ollama:latest
|
||||
container_name: ai-ollama
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "11434:11434"
|
||||
volumes:
|
||||
- ollama_data:/root/.ollama
|
||||
networks:
|
||||
- ai-network
|
||||
deploy:
|
||||
resources:
|
||||
reservations:
|
||||
memory: 1G
|
||||
|
||||
networks:
|
||||
ai-network:
|
||||
driver: bridge
|
||||
|
|
@ -86,3 +101,4 @@ networks:
|
|||
volumes:
|
||||
postgres_data:
|
||||
qdrant_data:
|
||||
ollama_data:
|
||||
|
|
|
|||
Loading…
Reference in New Issue