AI 智慧 · MLOps · LLM 運維

xLLMOPs

完整 LLM 生命週期管理平台。Next.js 15 + React 18.3 + Zustand 5 + TanStack Query 5 + ReactFlow + Monaco Editor 前端，FastAPI + Python 3.11 + Celery GPU 佇列後端。多模型路由（LiteLLM Proxy）、RAG 知識庫、LoRA/QLoRA 微調、MCP 整合、TTS、OCR，29+ 服務模組全功能上線。

開發中多模型路由MCP 整合 RAG 知識庫成本治理

SSDLC：JWT/OAuth2Rate LimitAudit LogRBACSSDLC

技術棧

Next.js 15React 18.3Zustand 5TanStack Q 5FastAPICeleryLiteLLM Proxy

成熟度

90% · Agent + RAG + MCP + LoRA 全部上線

可用模型 — 點擊比較

6 個模型在線

29 個服務模組（部分展示）

多模型路由

基於延遲、成本、準確度動態路由，Fallback 主模型失敗自動降級。

Prompt 版本工作室

Prompt 版本控制、A/B 測試、評分、發佈，支援多模型並行比較。

RAG 知識庫

支援 Milvus、pgvector、Qdrant、Weaviate、Pinecone 等多向量 DB，Metadata 過濾。

成本治理

按請求/用戶/月份預算追蹤，超額告警，模型切換節省成本建議。

LoRA/QLoRA 微調

低秩調適、量化調適，資料集版本控制，Celery GPU 佇列，訓練指標監控。

Observability

Prometheus + Grafana 指標、Jaeger 分散式追蹤、Flower Celery 監控。

系統架構

前端層 (Next.js 15 + TypeScript) 模型管理 / Prompt Studio / RAG / 訓練 / 監控 FastAPI 後端（29 個服務模組） /api/agents · /api/knowledge · /api/llm /api/workflow · /api/training · /api/monitor /api/document · /api/ocr · /api/mcp LiteLLM Milvus Redis Celery PostgreSQL (路由) (向量DB)(快取) (Worker) (元資料) OpenAI · Anthropic · Ollama · vLLM (本地)

開發進度

已完成

基礎平台

LiteLLM Proxy 路由Agent + 工作流引擎RAG 知識庫LoRA/QLoRA 微調MCP 整合OCR 多引擎Prompt 版本工作室Celery Worker 佇列Prometheus + Grafana向量 DB 六種TTS 語音合成資源市集

進行中

核心功能

企業級安全加固多租戶隔離GPU 資源排程

待開發

進階功能

AI 模型評估成本最佳化資源市集

xLLMOPs

互動架構圖