feat(govai): 0617 优化首批 — 安全/私有化/深度研究/服务层/可观测性

借鉴 odysseus 的能力设计,全程净室实现、零 AGPL 代码、不引入 AGPL 依赖。

T1 提示注入防护: pkg/promptguard 包裹外部/知识库内容为不可信数据,buildMessages 移出 system 指令区。 T2 安全 CI: .github/workflows(ci+security: govulncheck/gitleaks/actionlint/hadolint/trivy)+dependabot+.hadolint.yaml;go.mod 加 toolchain go1.25.11 修复 20 个 stdlib CVE。 T3 管理员 2FA: 迁移 000016 + RFC6238 TOTP/备份码(pkg/auth, 零依赖) + 登录流程集成(后端)。 T4 本地模型: LLM/embedding 支持本地 vLLM/Ollama(OpenAI 兼容, 鉴权头条件发送, NoAuth) + docs/local-deploy.md。 T6 深度研究: 迁移 000017 + Python research-worker(净室多步流水线, 检索避开 SearXNG) + Go research 服务/handler/路由。 T7 service 层: 新增 internal/service/{research,twofa}, 2FA 业务逻辑从胖 handler 下沉, 接口注入可单测。 T10 缓存/可观测性: internal/cache(Redis+内存, 优雅降级) 接入 store 热点列表; Prometheus 指标+/metrics; docs/openapi.yaml。 验证: go build/vet/test ./... 全绿(8 包); research-worker 12 单测过; 真实 PG 应用迁移并烟测。
This commit is contained in:
freedakgmail
2026-06-17 17:52:47 +08:00
parent 97feb42afb
commit c949204662
55 changed files with 4341 additions and 25 deletions
+34 -3
View File
@@ -2,6 +2,8 @@ package config
import (
"os"
"strconv"
"strings"
"time"
)
@@ -23,20 +25,25 @@ type PPTWorkerConfig struct {
}
type LLMConfig struct {
Provider string // "openai" or "anthropic"
Provider string // "openai" / "anthropic" / "local"
OpenAIKey string
OpenAIBaseURL string
OpenAIModel string
AnthropicKey string
AnthropicBaseURL string
AnthropicModel string
// 本地推理(私有化):OpenAI 兼容端点,如 vLLM(http://host:8000/v1) / Ollama(http://host:11434/v1)
LocalBaseURL string
LocalModel string
LocalKey string // 多数本地服务无需密钥,可留空
}
type EmbeddingConfig struct {
APIKey string // Embedding API 密钥
BaseURL string // Embedding API 基础 URLOpenAI 兼容格式)
Model string // 向量模型名称
Dimensions int // 向量维度
Dimensions int // 向量维度(必须与所用模型及 pgvector 列维度一致)
NoAuth bool // 本地无鉴权端点时置 true
}
type ServerConfig struct {
@@ -104,12 +111,16 @@ func Load() *Config {
AnthropicKey: getEnv("ANTHROPIC_API_KEY", ""),
AnthropicBaseURL: getEnv("ANTHROPIC_BASE_URL", "https://api.anthropic.com"),
AnthropicModel: getEnv("ANTHROPIC_MODEL", "claude-sonnet-4-20250514"),
LocalBaseURL: getEnv("LOCAL_LLM_BASE_URL", ""),
LocalModel: getEnv("LOCAL_LLM_MODEL", ""),
LocalKey: getEnv("LOCAL_LLM_API_KEY", ""),
},
Embedding: EmbeddingConfig{
APIKey: getEnv("EMBEDDING_API_KEY", ""),
BaseURL: getEnv("EMBEDDING_BASE_URL", "https://dashscope.aliyuncs.com/compatible-mode/v1"),
Model: getEnv("EMBEDDING_MODEL", "text-embedding-v3"),
Dimensions: 1024,
Dimensions: getEnvInt("EMBEDDING_DIMENSIONS", 1024),
NoAuth: getEnvBool("EMBEDDING_NO_AUTH", false),
},
Gateway: GatewayConfig{
URL: getEnv("MODEL_GATEWAY_URL", "http://localhost:8081"),
@@ -133,3 +144,23 @@ func getEnv(key, fallback string) string {
}
return fallback
}
func getEnvBool(key string, fallback bool) bool {
switch strings.ToLower(strings.TrimSpace(os.Getenv(key))) {
case "1", "true", "yes", "on":
return true
case "0", "false", "no", "off":
return false
default:
return fallback
}
}
func getEnvInt(key string, fallback int) int {
if v := os.Getenv(key); v != "" {
if n, err := strconv.Atoi(strings.TrimSpace(v)); err == nil {
return n
}
}
return fallback
}