feat(govai): 0617 优化首批 — 安全/私有化/深度研究/服务层/可观测性

借鉴 odysseus 的能力设计，全程净室实现、零 AGPL 代码、不引入 AGPL 依赖。 T1 提示注入防护: pkg/promptguard 包裹外部/知识库内容为不可信数据，buildMessages 移出 system 指令区。 T2 安全 CI: .github/workflows(ci+security: govulncheck/gitleaks/actionlint/hadolint/trivy)+dependabot+.hadolint.yaml；go.mod 加 toolchain go1.25.11 修复 20 个 stdlib CVE。 T3 管理员 2FA: 迁移 000016 + RFC6238 TOTP/备份码(pkg/auth, 零依赖) + 登录流程集成(后端)。 T4 本地模型: LLM/embedding 支持本地 vLLM/Ollama(OpenAI 兼容, 鉴权头条件发送, NoAuth) + docs/local-deploy.md。 T6 深度研究: 迁移 000017 + Python research-worker(净室多步流水线, 检索避开 SearXNG) + Go research 服务/handler/路由。 T7 service 层: 新增 internal/service/{research,twofa}, 2FA 业务逻辑从胖 handler 下沉, 接口注入可单测。 T10 缓存/可观测性: internal/cache(Redis+内存, 优雅降级) 接入 store 热点列表; Prometheus 指标+/metrics; docs/openapi.yaml。验证: go build/vet/test ./... 全绿(8 包); research-worker 12 单测过; 真实 PG 应用迁移并烟测。
2026-06-17 17:52:47 +08:00
parent 97feb42afb
commit c949204662
55 changed files with 4341 additions and 25 deletions
@@ -0,0 +1,4 @@
+-- 000016 回滚
+DROP TABLE IF EXISTS user_backup_codes;
+ALTER TABLE users DROP COLUMN IF EXISTS totp_enabled;
+ALTER TABLE users DROP COLUMN IF EXISTS totp_secret;
@@ -0,0 +1,15 @@
+-- 000016: 管理员两步验证 (2FA / TOTP)
+-- 为 users 增加 TOTP 密钥与开关；新增一次性备份码表（仅存哈希）。
+
+ALTER TABLE users ADD COLUMN IF NOT EXISTS totp_secret  TEXT;
+ALTER TABLE users ADD COLUMN IF NOT EXISTS totp_enabled BOOLEAN NOT NULL DEFAULT false;
+
+CREATE TABLE IF NOT EXISTS user_backup_codes (
+    id          UUID PRIMARY KEY DEFAULT gen_random_uuid(),
+    user_id     UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,
+    code_hash   TEXT NOT NULL,                 -- bcrypt 哈希，绝不存明文
+    used_at     TIMESTAMPTZ,                   -- 非空表示已使用（一次性）
+    created_at  TIMESTAMPTZ NOT NULL DEFAULT NOW()
+);
+
+CREATE INDEX IF NOT EXISTS idx_user_backup_codes_user ON user_backup_codes(user_id);
@@ -0,0 +1,6 @@
+-- 000017 回滚
+ALTER TABLE applications DROP CONSTRAINT IF EXISTS applications_dify_app_type_check;
+ALTER TABLE applications ADD CONSTRAINT applications_dify_app_type_check
+    CHECK (dify_app_type IN ('chatbot','completion','workflow','agent','ppt_generator','skill'));
+
+DROP TABLE IF EXISTS research_tasks;
@@ -0,0 +1,48 @@
+-- 000017: 深度研究任务表 + research_generator 应用类型
+
+CREATE TABLE IF NOT EXISTS research_tasks (
+    id              UUID PRIMARY KEY DEFAULT gen_random_uuid(),
+    user_id         UUID NOT NULL REFERENCES users(id),
+    app_id          UUID REFERENCES applications(id),
+
+    topic           TEXT NOT NULL,                 -- 研究题目/问题
+    config          JSONB NOT NULL DEFAULT '{}',   -- {max_steps, max_sources, language, report_type}
+
+    status          VARCHAR(30) NOT NULL DEFAULT 'pending'
+                    CHECK (status IN (
+                        'pending',        -- 等待处理
+                        'planning',       -- 拆解问题
+                        'searching',      -- 检索
+                        'reading',        -- 抓取阅读与摘要
+                        'synthesizing',   -- 合成报告
+                        'completed',      -- 完成
+                        'failed',         -- 失败
+                        'canceled'        -- 已取消
+                    )),
+    progress        INTEGER NOT NULL DEFAULT 0 CHECK (progress BETWEEN 0 AND 100),
+    status_message  TEXT,
+    error_message   TEXT,
+
+    report          TEXT,                          -- 最终 Markdown 报告
+    sources         JSONB NOT NULL DEFAULT '[]',   -- 引用来源 [{title,url,snippet}]
+    tokens_used     INTEGER NOT NULL DEFAULT 0,
+
+    started_at      TIMESTAMPTZ,
+    completed_at    TIMESTAMPTZ,
+    created_at      TIMESTAMPTZ NOT NULL DEFAULT NOW(),
+    updated_at      TIMESTAMPTZ NOT NULL DEFAULT NOW()
+);
+
+CREATE INDEX IF NOT EXISTS idx_research_tasks_user ON research_tasks(user_id);
+CREATE INDEX IF NOT EXISTS idx_research_tasks_status ON research_tasks(status);
+CREATE INDEX IF NOT EXISTS idx_research_tasks_created ON research_tasks(created_at DESC);
+
+DROP TRIGGER IF EXISTS update_research_tasks_updated_at ON research_tasks;
+CREATE TRIGGER update_research_tasks_updated_at
+    BEFORE UPDATE ON research_tasks
+    FOR EACH ROW EXECUTE FUNCTION update_updated_at_column();
+
+-- 扩展应用类型，加入 research_generator（深度研究）
+ALTER TABLE applications DROP CONSTRAINT IF EXISTS applications_dify_app_type_check;
+ALTER TABLE applications ADD CONSTRAINT applications_dify_app_type_check
+    CHECK (dify_app_type IN ('chatbot','completion','workflow','agent','ppt_generator','skill','research_generator'));