Skip to content

AnyDev:多租户沙箱平台的网关、网络、存储与蓝绿升级 ​

业务背景 ​

AnyDev 是面向腾讯内部多条业务线的开发平台,使用 CubeSandbox 为 Agent 应用提供隔离执行环境。沙箱接入多租户平台后,平台需要解决租户隔离、管理操作审批、企业网络与存储接入、底座升级保护存量任务等一系列问题。团队的原则是:不改造沙箱底座,企业侧能力构建在外层——前置网关、自助站点、数据消费三处分工。

核心痛点 ​

  • 租户边界无法靠底座保证:没有租户维度的列表接口透传即越权,模板操作影响面跨租户。
  • 私有网段冲突:Cube 默认拒绝 10/8、172.16/12、192.168/16、169.254/16,而企业内网、VPC、容器网段几乎都落在这些范围。
  • 升级风险压到存量沙箱:0.6 → 0.7 升级中控制面组件拆分与模板/快照兼容基线出问题,原地滚动会中断业务方长任务。

基于 CubeSandbox 的方案 ​

  • 前置网关四件事:身份转换(每租户独立 E2B Key,底座按 Key 限流自然落到租户级)、API 隔离(方法+路径白名单,屏蔽无租户语义接口,新增接口默认屏蔽)、配额前置校验(解析请求体才能判模板白名单)、记账与归属校验(tenant/project 写入沙箱 metadata)。
  • 管理动作收口自助站点:模板创建、配额调整、出网白名单、永不超时申请统一审批,租户维度与审计留痕在平台侧。
  • 网络双向收口:入站统一企业网关(域名模式 <端口>-<沙箱ID>.<域名> 或路径模式),出站统一企业出网网关,凭据注入改写请求头、密钥不落沙箱;部署规范要求 VPC/子网与企业网段错开,内网访问逐条显式放行。
  • 存储:模板治理收口站点、别名做稳定引用;Volume 基于企业共享存储自研插件,性能与权限体系优于对象存储插件。
  • 蓝绿升级:存量留蓝、新增走绿,网关按租户控制创建路由,账本记录每个沙箱所在集群;回切只需改路由,兼容性问题只影响被切到绿的新沙箱。

效果与收益 ​

  • 底座保持「只认 Key」的简单模型,租户级可见性由外层承担,换集群/换形态业务方无感。
  • 0.6 → 0.7 升级以蓝绿模式完成,存量沙箱零中断,回切成本为秒级路由变更。
  • 出口 IP 收敛后外部服务按 IP 放行可行,出网日志可归因到租户。
  • 沉淀五条可供参考的实践结论,覆盖管理面自建、屏蔽+收口、网段规划、Volume 插件选型与蓝绿升级。

参考资料 ​