三层安全架构
配置、检测、路由,各归其位。配置、检测、路由,各归其位。
YAML 配置
YAML 配置
一份配置文件管所有模型与路由。改完即生效,不用重启,也不用改业务代码。
安全网关集群
安全网关集群
引擎实例横向扩展,共享原型库与审计日志。单个实例异常不影响整体判定的一致性。
多模型后端
多模型后端
公有云、私有化与混合部署统一接入。模型可以随时增删,判定策略不随之改动。
智能多模型路由
请求头或字段自动选模型,业务代码零改动。请求头或字段自动选模型,业务代码零改动。
请求进入 → 解析 X-Model-ID → 查 YAML 路由表 → 落到目标模型。路由表支持加权与故障回退,改配置不需要重启。
# 企业多模型网关配置
models:
- id: deepseek-v3
endpoint: http://internal.deepseek:8000/v1
type: private
- id: gpt-4
endpoint: https://api.openai.com/v1
type: public
api_key: ${OPENAI_API_KEY}
routing:
strategy: weighted
fallback: deepseek-v3按规模选部署方式
从单机到集群,配置只有一份。从单机到集群,配置只有一份。
小
Docker Compose
一条命令拉起完整网关,适合 PoC 与小团队。
docker-compose up中
Kubernetes Helm
Helm 一键部署,自动扩缩容,多实例共享原型库。
helm install kanhe大
云原生
托管运行、按需扩缩,适配 ECS / EKS。
云上部署三个日常运维场景
上线、扩容、审计 —— 每件事都有确定动作。上线、扩容、审计 —— 每件事都有确定动作。
新模型上线引入新的 LLMYAML 热加载,立即受保护30 秒
流量突增高峰 QPS 飙升横向扩容引擎实例分钟级
安全审计合规要求月报审计日志落盘,可直接导出即时
从 PoC 到全量
渐进式部署,每一步都有验收点。渐进式部署,每一步都有验收点。
一期
PoC 验证
1–2 周
单模型接入,Docker 部署
二期
多模型接入
2–4 周
3+ 模型与路由跑通
三期
高可用
1–2 月
K8s 集群与故障转移
四期
策略调优
持续
压低误报,沉淀规则
覆盖安全、运维、开发与合规四类角色:各自只看自己那一屏。