MerCry
/
ai-robot-core
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
75 Commits 3 Branches 0 Tags 112 MiB
Commit Graph

22 Commits

Author SHA1 Message Date
MerCry f81d18a517 feat: 添加LLM配置持久化功能 [AC-AISVC-50] 
- LLM配置保存到 config/llm_config.json 文件
- 服务重启后自动加载已保存的配置
- 与嵌入模型配置保持一致的持久化机制
 2026-02-26 19:30:26 +08:00
MerCry d660c19ab9 feat: 添加嵌入配置持久化及模型切换警告 [AC-AISVC-50] 
- 添加嵌入配置持久化到config/embedding_config.json
- 服务启动时自动加载保存的配置
- 切换模型时前端显示警告提示需要重新上传文档
- 修复OptimizedRetriever缓存问题，每次检索获取最新配置
- 清理调试用的Python临时文件
- 更新.gitignore忽略config目录
 2026-02-26 18:01:03 +08:00
MerCry fd04ed2cef fix: 修复RAG检索多个问题并更新嵌入模型配置 [AC-AISVC-50] 
主要修复:
1. 修复ConfigForm和EmbeddingConfigForm组件watch死循环导致内存溢出
2. 修复向量存储格式与检索格式不匹配问题
3. 修复两阶段检索和混合检索互斥问题
4. 修复RRF融合时vector字段丢失问题
5. 修复embedding_full未归一化导致相似度计算错误
6. 修复嵌入模型配置表单不显示参数问题

功能增强:
- 添加with_vectors参数支持返回向量用于重排序
- 新增两阶段+混合检索组合策略
- 更新README嵌入模型配置说明，推荐nomic-embed-text-v2-moe
- 添加cleanup_qdrant.py脚本用于清理向量数据
 2026-02-26 14:45:21 +08:00
MerCry 97e7fd0992 feat: 添加API Key认证系统和修复Qdrant搜索问题 [AC-AISVC-50] 
- 新增 API Key 数据库模型和服务
- 新增 ApiKeyMiddleware 认证中间件
- 新增 /admin/api-keys 管理接口
- 前端支持 VITE_APP_API_KEY 环境变量
- 修复 optimized_retriever.py 中 Qdrant 搜索调用方式
- 更新 Dockerfile 支持构建时传入 API Key
- 更新 docker-compose.yaml 支持前端 API Key 配置
 2026-02-26 03:11:36 +08:00
MerCry ee2c7c0d0c feat: 添加API Key认证功能 [AC-AISVC-50] 
- 新增 ApiKey 模型和数据库表
- 新增 ApiKeyService 服务，支持内存缓存验证
- 新增 ApiKeyMiddleware 中间件，验证所有请求
- 应用启动时自动创建默认 API Key
- 新增 /admin/api-keys 管理接口
 2026-02-26 02:52:50 +08:00
MerCry f631f1dea0 feat: 统一提示词模板并添加全量提示词日志 [AC-AISVC-02, AC-ASA-19, AC-ASA-20]
PR Check (SDD Full Gate) / sdd-full-gate (pull_request) Successful in 2s Details 
- 新增 prompts.py 集中管理系统提示词和证据格式化
- orchestrator.py 添加全量提示词日志打印
- openai_client.py 添加全量提示词日志打印（支持普通和流式）
- rag.py 重构使用统一的提示词模板
 2026-02-26 01:12:01 +08:00
MerCry dd74ae2585 feat: 切换到优化检索器并增强编排日志 [AC-AISVC-02, AC-AISVC-16] 2026-02-25 23:45:34 +08:00
MerCry 02f03a3a12 feat: RAG 配置优化与检索日志增强 [AC-AISVC-16, AC-AISVC-17] 2026-02-25 23:42:31 +08:00
MerCry cee884d9a0 feat: RAG 检索优化，实现多维度向量存储和 Nomic 嵌入提供者 [AC-AISVC-16, AC-AISVC-29] 2026-02-25 23:10:12 +08:00
MerCry 774744d534 feat: 文档索引优化，支持多编码解码和按行分块 [AC-AISVC-21, AC-AISVC-22] 2026-02-25 23:09:24 +08:00
MerCry 4579159c0a feat(ui): 前端浅色调风格优化与下拉框显示修复 
- 建立全局浅色调样式系统，统一配色风格
- 优化导航栏设计，添加品牌标识
- 修复下拉框被遮挡问题，添加 teleported 和 popper 配置
- 优化 LLM 选择器中当前配置标签的显示
- 重构控制台页面，采用白色卡片风格
- 统一所有页面的视觉风格，提升用户体验
 2026-02-25 14:06:37 +08:00
MerCry fc53fdc6ac feat(AISVC-T8): LLM配置管理与RAG调试输出支持 [AC-AISVC-42, AC-AISVC-43, AC-AISVC-44, AC-AISVC-45, AC-AISVC-46, AC-AISVC-47, AC-AISVC-48, AC-AISVC-49, AC-AISVC-50] 
- 新增 LLMProviderFactory 工厂类支持 OpenAI/Ollama/Azure [AC-AISVC-42]
- 新增 LLMConfigManager 支持配置热更新 [AC-AISVC-43, AC-AISVC-44]
- 新增 LLM 管理 API 端点 [AC-AISVC-42~AC-AISVC-46]
- 更新 RAG 实验接口支持 AI 回复生成 [AC-AISVC-47, AC-AISVC-49]
- 新增 RAG 实验流式输出 SSE [AC-AISVC-48]
- 支持指定 LLM 提供者 [AC-AISVC-50]
- 更新 OpenAPI 契约添加 LLM 管理接口
- 更新前后端规范文档 v0.4.0 迭代
 2026-02-25 01:25:53 +08:00
MerCry 559d8c0c53 feat(ASA-P5): PDF智能分块处理，使用tiktoken按token分块并保留页码元数据 [AC-ASA-01] 2026-02-25 01:16:59 +08:00
MerCry e9fee2f80e feat(AISVC): Excel/CSV parser converts to JSON format for better RAG retrieval [AC-AISVC-35] 
- ExcelParser: convert spreadsheet data to JSON records with header as keys
- CSVParser: convert CSV data to JSON records preserving structure
- Add _sheet field to identify worksheet source in Excel output
- Preserve numeric types (int/float/bool) in JSON output
- Support UTF-8 and GBK encoding fallback for CSV files
 2026-02-25 01:12:07 +08:00
MerCry c1d76093aa feat(AISVC-T7): 嵌入模型可插拔设计与文档解析支持 [AC-AISVC-29, AC-AISVC-30, AC-AISVC-31, AC-AISVC-32, AC-AISVC-33, AC-AISVC-34, AC-AISVC-35, AC-AISVC-36, AC-AISVC-37, AC-AISVC-38, AC-AISVC-39, AC-AISVC-40, AC-AISVC-41] 
- 新增 EmbeddingProvider 抽象基类和工厂模式 [AC-AISVC-29, AC-AISVC-30]
- 实现 OllamaEmbeddingProvider 和 OpenAIEmbeddingProvider [AC-AISVC-29, AC-AISVC-30]
- 新增 EmbeddingConfigManager 支持配置热更新 [AC-AISVC-31, AC-AISVC-32]
- 新增 DocumentParser 抽象接口和工厂类 [AC-AISVC-33]
- 实现 PDF/Word/Excel/Text 文档解析器 [AC-AISVC-33, AC-AISVC-34, AC-AISVC-35]
- 新增嵌入管理 API 端点 [AC-AISVC-38, AC-AISVC-39, AC-AISVC-40, AC-AISVC-41]
- 更新文档上传流程支持多格式文档解析 [AC-AISVC-36, AC-AISVC-37]
- 更新 OpenAPI 契约添加嵌入管理接口
- 添加数据库初始化脚本
- 更新规范文档标记 Phase 7 完成
 2026-02-24 23:08:08 +08:00
MerCry 4b64a4dbf4 feat(AISVC-T6.9): 集成Ollama嵌入模型修复RAG检索问题 
## 问题修复
- 替换假嵌入(SHA256 hash)为真实Ollama nomic-embed-text嵌入
- 修复Qdrant客户端版本不兼容导致score_threshold参数失效
- 降低默认分数阈值从0.7到0.3

## 新增文件
- ai-service/app/services/embedding/ollama_embedding.py

## 修改文件
- ai-service/app/api/admin/kb.py: 索引任务使用真实嵌入
- ai-service/app/core/config.py: 新增Ollama配置,向量维度改为768
- ai-service/app/core/qdrant_client.py: 移除score_threshold参数
- ai-service/app/services/retrieval/vector_retriever.py: 使用Ollama嵌入
 2026-02-24 22:15:53 +08:00
MerCry 5148c6ef42 feat(AISVC-T6.9): 前后端接口对接修正及Dashboard/RAG Lab功能完善 
## 后端修改
- 新增 Dashboard 统计 API (/admin/dashboard/stats)
- 新增知识库列表 API (/admin/kb/knowledge-bases)，返回文档数量
- 会话列表 API 新增 tenantId 字段
- KBService 新增 list_knowledge_bases 方法

## 前端修改
- Dashboard 页面对接真实后端 API
- RAG Lab 知识库选择器显示文档数量
- Monitoring 页面修复数据映射
- 新增 dashboard.ts API 文件
- kb.ts 新增 listKnowledgeBases 函数
 2026-02-24 19:59:26 +08:00
MerCry fb3c8ca2aa feat(ai-service): v0.2.0 前后端联调真实对接 
实现内容:
- 新增知识库实体模型 (KnowledgeBase, Document, IndexJob)
- 新增 KBService 服务层，支持文档上传、存储、索引任务管理
- 实现知识库管理 API 真实对接 (POST/GET /admin/kb/documents)
- 实现索引任务状态查询 API (GET /admin/kb/index/jobs/{jobId})
- 实现 RAG 实验室真实向量检索 (POST /admin/rag/experiments/run)
- 实现会话监控真实数据库查询 (GET /admin/sessions)

规范更新:
- requirements.md: v0.1.0 -> v0.2.0, 新增 AC-AISVC-21~28
- tasks.md: v0.1.0 -> v0.2.0, 新增 Phase 6 (9个任务)
- openapi.admin.yaml: L0 -> L1, 更新 x-requirements 映射

验收标准: AC-AISVC-21, AC-AISVC-22, AC-AISVC-23, AC-AISVC-24,
          AC-AISVC-25, AC-AISVC-26, AC-AISVC-27, AC-AISVC-28
 2026-02-24 18:16:29 +08:00
MerCry 6d54030e0d feat(ai-service): implement complete Orchestrator generation pipeline for T3.4 [AC-AISVC-01, AC-AISVC-02] 
- Integrate Memory, ContextMerger, Retriever, LLMClient, ConfidenceCalculator
- Implement 8-step generation pipeline:
  1. Load local history from Memory
  2. Merge with external history (dedup + truncate)
  3. RAG retrieval (optional)
  4. Build prompt with context and evidence
  5. LLM generation
  6. Calculate confidence
  7. Save messages to Memory
  8. Return ChatResponse
- Add GenerationContext dataclass for tracking intermediate results
- Implement fallback response mechanism for error handling
- Add 21 unit tests for OrchestratorService
- All 138 tests passing
 2026-02-24 13:47:12 +08:00
MerCry 66fa2d2677 feat(ai-service): implement confidence calculation for T3.3 [AC-AISVC-17, AC-AISVC-18, AC-AISVC-19] 
- Add ConfidenceCalculator class for confidence scoring
- Implement retrieval insufficiency detection (hit count, score threshold, evidence tokens)
- Implement confidence calculation based on retrieval scores
- Implement shouldTransfer logic with configurable threshold
- Add transferReason for low confidence scenarios
- Add comprehensive unit tests (19 test cases)
- Update config with confidence-related settings
 2026-02-24 13:31:42 +08:00
MerCry 550d0d8498 feat(ai-service): implement context merging for T3.2 [AC-AISVC-14, AC-AISVC-15] 
- Add ContextMerger class for combining local and external history
- Implement message fingerprint computation (SHA256 hash)
- Implement deduplication: local history takes priority
- Implement token-based truncation using tiktoken
- Add comprehensive unit tests (20 test cases)
 2026-02-24 13:26:37 +08:00
MerCry 0a167d69f0 feat(ai-service): implement LLM Adapter for T3.1 [AC-AISVC-02, AC-AISVC-06] 
- Add LLMClient abstract base class with generate/stream_generate interfaces
- Implement OpenAIClient with httpx for OpenAI-compatible API calls
- Add retry logic with tenacity for timeout handling
- Support both non-streaming and streaming generation
- Add comprehensive unit tests for LLM Adapter
- Fix entities.py JSON column type for SQLModel compatibility
 2026-02-24 13:19:38 +08:00