selfrelease
a329d4906b
- 方案文档: AVCC 体系建设、IPTV TCS 需求(0-req)/PRD(1-prd)/任务(2-task)/二三四期任务 - tcs-iptv: Go 后端(哈希SDK/MA码生成/可信数据空间mock/业务编排/HTTP API+HMAC鉴权) - web-console: React+AntD 监管大屏(角色工作台/全流程演示/监管片库) - 一剧一码+集级哈希, 集级下架/恢复, 全栈测试通过
219 lines
13 KiB
Markdown
219 lines
13 KiB
Markdown
# 第一章 总体技术架构
|
||
|
||
> 版本：V1.0
|
||
> 基于文档：《AIGC-Hub智视码(AVCC)体系建设方案 V2.0》
|
||
|
||
---
|
||
|
||
## 1.1 架构设计原则
|
||
|
||
| 原则 | 说明 |
|
||
|------|------|
|
||
| **等保三级合规** | 所有系统组件部署于广电云等保三级 VPC 内，满足网络安全等级保护三级要求 |
|
||
| **云原生设计** | 基于容器化与微服务架构，支持水平扩展、滚动更新、故障自愈 |
|
||
| **MA 标准兼容** | 编码、解析、数据交换全流程遵循 ISO/IEC 15459 及 MA 标识体系规范 |
|
||
| **开放接入** | 通过标准化 RESTful API 与多语言 SDK，支持平台、工具方、创作者低门槛接入 |
|
||
| **数据主权** | 敏感数据不出境，版权链采用国密算法，MA 根解析通过境内节点完成 |
|
||
| **可观测性** | 全链路日志、指标、追踪，支撑监管审计与故障定位 |
|
||
|
||
---
|
||
|
||
## 1.2 总体架构图（文字描述）
|
||
|
||
AIGC-Hub 采用 **MA 根节点 + 1 + 3 + N** 总体架构，以四层体系实现监管、运营、应用的全链路贯通。
|
||
|
||
### 第一层：监管层
|
||
|
||
- **责任主体**：国家广播电视总局 / 省级广电主管部门
|
||
- **技术对接**：通过数据回传通道接收平台自审记录、播放数据、处置记录；通过终审工作台处理重点内容(AVCC-P)终审；通过黑名单管理模块实施全网封禁指令下发
|
||
- **部署形态**：监管大屏部署于广电总局内部专网，与广电云 AIGC-Hub 通过安全数据交换网关对接
|
||
|
||
### 第二层：运营层（广电云 AIGC-Hub）
|
||
|
||
广电云作为唯一建设和运营主体，同时承担 **MA.AIGC 视听内容行业节点** 运营职责。运营层包含七大核心引擎/系统：
|
||
|
||
| 系统/引擎 | 职责 |
|
||
|-----------|------|
|
||
| **赋码引擎** | 接收赋码申请，执行预检，按 MA 标准生成六段式 AVCC，码资源分配与回收 |
|
||
| **审核引擎** | 多模态 AI 合规检测（画面/台词/声音/AIGC 真实性），输出分级建议与详细预审报告 |
|
||
| **版权链引擎** | 基于联盟链的版权存证、用户权益子链、智能合约分账清算 |
|
||
| **清算引擎** | 跨平台权益通兑验证、分账结算、版权估值报告、金融衍生服务支撑 |
|
||
| **MA 编码网关** | 对外统一 AVCC 解析与流通权限识别，对接 ZIIOT MA 全球根解析 |
|
||
| **C2PA SDK** | 嵌入/验证 C2PA 内容凭证，含 MA 标识片段、模型版本、训练数据授权摘要 |
|
||
| **创作者工作台** | 一站式 SaaS：赋码申请、版权登记、分账查询、审核报告、多平台聚合 |
|
||
|
||
### 第三层：MA 根节点层（ZIIOT）
|
||
|
||
- **MA 全球根节点**：ZIIOT 运营，负责全球码资源分配、根解析服务、国际标准对接
|
||
- **一级节点（国家地域节点）**：`MA.156` 中国节点
|
||
- **二级节点（行业节点）**：`MA.156.10005` 拟申请的 AIGC 视听内容行业节点，由广电云运营
|
||
- **三级节点及以下**：各长视频/短视频平台、AI 工具厂商、MCN 机构
|
||
|
||
### 第四层：应用层（N 个接入方）
|
||
|
||
- 长视频平台（爱奇艺、腾讯视频、优酷等）
|
||
- 短视频平台（抖音、快手、小红书等）
|
||
- AI 工具厂商（绘画/视频生成工具）
|
||
- MCN 机构、版权方、创作者个体
|
||
|
||
---
|
||
|
||
## 1.3 技术栈选型详表
|
||
|
||
### 1.3.1 接入与网关层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| API 网关 | Kong / Apache APISIX | 最新稳定版 | 流量控制、鉴权、限流、日志、灰度发布 |
|
||
| 负载均衡 | Nginx Ingress Controller | 1.9+ | K8s Ingress 层负载均衡与 TLS 终止 |
|
||
| CDN | 广电云 CDN / 自建 CDN | — | 静态资源、AVCC 证书二维码、C2PA 水印分发 |
|
||
|
||
### 1.3.2 前端层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 管理后台框架 | React | 18.x | 监管大屏、运营后台、创作者工作台 |
|
||
| UI 组件库 | Ant Design | 5.x | 企业级中后台组件 |
|
||
| 状态管理 | Zustand / Redux Toolkit | 最新版 | 全局状态管理 |
|
||
| 图表可视化 | ECharts / AntV G2Plot | 5.x / 2.x | 监管数据可视化、审核趋势图 |
|
||
| 移动端 | React Native / 小程序 | — | 创作者移动端赋码查询、扫码验真 |
|
||
|
||
### 1.3.3 后端服务层（混合语言架构）
|
||
|
||
采用按场景选型的混合语言策略：**Go 负责高并发网关与计算密集型服务，Python 负责业务编排与 AI 管道，Rust 负责底层媒体处理**。
|
||
|
||
| 服务/组件 | 语言 | 框架/库 | 版本 | 说明 |
|
||
|----------|------|---------|------|------|
|
||
| **高并发网关服务** | Go | Gin / Echo | 1.22+ | MA 编码网关、API 网关核心业务，单机万级 QPS |
|
||
| **赋码引擎** | Go | Gin + GORM | 1.22+ | 编码规则计算、码资源分配，性能敏感 |
|
||
| **清算引擎** | Go | Gin + GORM | 1.22+ | 实时分账对账、数值计算，低延迟要求 |
|
||
| **业务服务层** | Python | FastAPI + SQLAlchemy | 3.11+ / 0.110+ | 创作者工作台 API、审核任务编排、版权链交互 |
|
||
| **审核任务调度** | Python | FastAPI + Celery | 3.11+ | 审核任务分发、结果聚合、报告生成 |
|
||
| **区块链服务** | Go | ChainMaker SDK / Fabric SDK | 1.22+ / 2.5+ | 联盟链节点高性能交互，国密支持 |
|
||
| **C2PA SDK 核心** | Rust | c2pa-rs | 最新版 | C2PA 标准实现，提供 Python/JS/Go 绑定 |
|
||
| **视频指纹提取** | Rust / Go | FFmpeg + 自研 | — | 大文件处理，Rust/Go 性能优于 Python |
|
||
| **文档生成** | Python | WeasyPrint / ReportLab | 最新版 | AVCC 证书 PDF、审核报告 PDF 生成 |
|
||
| **AI 管道编排** | Python | FastAPI + Triton Client | 3.11+ | 调用 Triton 推理、结果融合 |
|
||
|
||
### 1.3.4 数据存储层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 关系型数据库 | PostgreSQL | 16.x | 主业务数据，JSONB 支持灵活 schema 扩展 |
|
||
| 数据库高可用 | Patroni + etcd | 最新版 | 自动故障切换、读写分离 |
|
||
| 缓存 | Redis Cluster | 7.x | 会话、热点数据、限流计数、分布式锁 |
|
||
| 时序/分析数据库 | ClickHouse | 24.x | 播放数据、审核日志、运营分析 |
|
||
| 对象存储 | MinIO / 广电云对象存储 | 最新版 | C2PA 水印文件、视频指纹、证据包 |
|
||
| 搜索引擎 | Elasticsearch | 8.x | 审核报告全文检索、日志检索 |
|
||
| 向量数据库 | Milvus / pgvector | 最新版 | 视频指纹相似度检索、版权比对 |
|
||
|
||
### 1.3.5 消息与异步层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 消息队列 | Apache Kafka | 3.x | 审核任务分发、链上事件、数据回传 |
|
||
| 流处理 | Kafka Streams / Flink | 最新版 | 实时播放数据统计、异常检测 |
|
||
| 任务队列 | Celery + Redis / RabbitMQ | 最新版 | 异步任务（邮件通知、PDF 生成） |
|
||
| 调度器 | APScheduler / Airflow | 最新版 | 定时清算、数据报表生成 |
|
||
|
||
### 1.3.6 AI 推理层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 推理服务框架 | NVIDIA Triton Inference Server | 2.x | GPU 模型服务化、动态批处理、多框架支持 |
|
||
| 深度学习框架 | PyTorch | 2.x | 审核模型训练与推理 |
|
||
| 计算机视觉 | OpenMMLab 系列 (MMPretrain, MMAction2) | 最新版 | 画面合规检测、深度伪造检测 |
|
||
| 自然语言处理 | transformers (Hugging Face) | 最新版 | 台词敏感词检测、语境分析 |
|
||
| 音频处理 | librosa / torchaudio | 最新版 | 音频合规检测、音乐指纹提取 |
|
||
| 模型仓库 | MLflow / DVC | 最新版 | 模型版本管理、实验追踪 |
|
||
|
||
### 1.3.7 区块链层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 底层链 | 长安链 (ChainMaker) | 2.x | 国密支持、联盟链、可控权限、性能优异 |
|
||
| 备选 | Hyperledger Fabric | 2.5+ | 成熟稳定，文档丰富 |
|
||
| 智能合约 | Go (ChainMaker) / Go/Java (Fabric) | — | 版权存证合约、分账合约、用户权益合约 |
|
||
| 链上浏览器 | ChainMaker Explorer / Hyperledger Explorer | 最新版 | 交易查询、区块浏览 |
|
||
| 钱包/密钥 | HSM (硬件安全模块) | — | 核心密钥离线存储，满足等保三级要求 |
|
||
|
||
### 1.3.8 基础设施层
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 容器编排 | Kubernetes | 1.29+ | 容器编排、服务发现、自动扩缩容 |
|
||
| 服务网格 | Istio (可选) | 最新版 | 服务间流量管理、安全通信、可观测性 |
|
||
| 镜像仓库 | Harbor | 2.x | 私有镜像仓库、镜像安全扫描 |
|
||
| 密钥管理 | HashiCorp Vault | 最新版 | 敏感配置、API Key、数据库密码动态管理 |
|
||
| 服务注册 | etcd (K8s 内置) | — | 服务发现与配置存储 |
|
||
|
||
### 1.3.9 可观测性与 DevOps
|
||
|
||
| 组件 | 选型 | 版本 | 说明 |
|
||
|------|------|------|------|
|
||
| 指标监控 | Prometheus | 最新版 | 指标采集、告警规则 |
|
||
| 可视化 | Grafana | 10.x | 监控大盘、运营报表 |
|
||
| 日志采集 | ELK Stack (Elasticsearch + Logstash + Kibana) / Loki | 8.x / 最新版 | 全链路日志聚合与检索 |
|
||
| 链路追踪 | Jaeger / OpenTelemetry | 最新版 | 分布式请求链路追踪 |
|
||
| CI/CD | GitLab CI | 最新版 | 自动化构建、测试 |
|
||
| GitOps | ArgoCD | 最新版 | K8s 声明式持续交付、自动回滚 |
|
||
| 制品管理 | Nexus / Artifactory | 最新版 | Maven/NPM/Docker 制品仓库 |
|
||
|
||
---
|
||
|
||
## 1.4 系统间交互关系
|
||
|
||
```
|
||
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
|
||
│ 创作者工作台 │────→│ 赋码引擎 │────→│ 审核引擎 │
|
||
│ (Workbench) │ │ (Code Svc) │ │(Review Svc) │
|
||
└─────────────┘ └──────┬──────┘ └──────┬──────┘
|
||
│ │
|
||
↓ ↓
|
||
┌─────────────┐ ┌─────────────┐
|
||
│ MA 编码网关 │←────│ 版权链引擎 │
|
||
│ (Gateway) │ │(Chain Svc) │
|
||
└──────┬──────┘ └──────┬──────┘
|
||
│ │
|
||
↓ ↓
|
||
┌─────────────┐ ┌─────────────┐
|
||
│ ZIIOT MA 根 │ │ 联盟链节点 │
|
||
│ 解析服务 │ │(ChainMaker) │
|
||
└─────────────┘ └─────────────┘
|
||
↑ ↑
|
||
┌─────────────┐ ┌─────────────┐
|
||
│ 接入平台 │←────│ 清算引擎 │
|
||
│ (Platform) │ │(Settlement) │
|
||
└─────────────┘ └─────────────┘
|
||
```
|
||
|
||
### 关键交互说明
|
||
|
||
1. **创作者 → 赋码引擎**：通过工作台提交作品与版权材料，触发赋码流程
|
||
2. **赋码引擎 → 审核引擎**：材料预检通过后，自动创建审核任务
|
||
3. **审核引擎 → 版权链引擎**：审核完成后，将审核报告哈希、分级结果上链存证
|
||
4. **版权链引擎 → 赋码引擎**：存证完成后，触发 AVCC 编码生成与码资源分配
|
||
5. **赋码引擎 → MA 编码网关**：新生成的 AVCC 注册到网关缓存与 MA 解析系统
|
||
6. **接入平台 → MA 编码网关**：平台在内容上线前调用网关解析 AVCC，校验流通权限
|
||
7. **接入平台 → 版权链引擎**：平台回传播放数据，触发智能合约分账结算
|
||
8. **清算引擎 → 版权链引擎**：定时执行链上清算，将收益按智能合约比例分配
|
||
|
||
---
|
||
|
||
## 1.5 数据流总览
|
||
|
||
| 数据类型 | 流向 | 传输方式 | 存储位置 |
|
||
|----------|------|----------|----------|
|
||
| 作品内容（视频） | 创作者 → 对象存储 | HTTPS + 分片上传 | MinIO（加密存储） |
|
||
| 赋码申请元数据 | 创作者 → 赋码引擎 | REST API | PostgreSQL |
|
||
| 审核任务 | 赋码引擎 → 审核引擎 | Kafka | Kafka + PostgreSQL |
|
||
| 审核报告 | 审核引擎 → 版权链引擎 | REST API + Kafka | PostgreSQL + 联盟链 |
|
||
| AVCC 编码 | 赋码引擎 → MA 网关 | 内部 RPC | PostgreSQL + Redis |
|
||
| 播放数据 | 平台 → 数据回传服务 | REST API + Kafka | ClickHouse |
|
||
| 分账结算 | 清算引擎 → 版权链引擎 | 智能合约调用 | 联盟链 |
|
||
| 监管数据 | 数据回传服务 → 监管大屏 | 安全数据交换网关 | 广电总局专网 |
|
||
|
||
---
|
||
|
||
*下一章：[02-核心系统模块设计.md](02-核心系统模块设计.md)*
|