一台 GPU 实例由什么组成
GPU 云主机建在与全球云主机相同的底座上:同样的 VPC、云盘、镜像、快照与 API,只是多了一块或多块 GPU。
一台 ZGPU 实例 = GPU 卡(1 块或多块)+ vCPU 与内存 + 本地 SSD 或云盘 + VPC 子网与安全组 + 可选弹性 IP。预装驱动、CUDA 与常用框架的镜像让环境准备从数小时缩到数分钟。
- 镜像:Ubuntu 22.04 / 20.04,预装 NVIDIA 驱动、CUDA 11.8 / 12.2、cuDNN、Docker 与 NVIDIA Container Toolkit。
- 数据:模型与数据集放在 RSSD / SSD 云盘,多台推理实例共享同一份镜像快速扩容。
- 计费:按天、按小时、按月三种;训练窗口或活动高峰结束即释放。
四个可以核对的数字
每一格都能在 nvidia-smi 或账单里验证。
五代卡,按任务选
从 K80 到 V100S,单精度 8.1 至 16.35 TFLOPS,INT8 最高 130 TOPS;推理选 T4,训练选 V100 / V100S。
预装驱动与 CUDA 镜像
镜像内置 NVIDIA 驱动、CUDA、cuDNN、Docker 与 Container Toolkit;拉起 vLLM、Triton 或自定义容器即可对外服务。
GPU 0: Tesla T4 (UUID: GPU-…)
$ docker run --gpus all vllm/vllm-openai … model loaded in 41s
按天、按小时、按月
训练窗口按天、活动高峰按小时、常驻推理按月;关机释放后停止计费,不为闲置 GPU 付费。
大模型推理放得下
V100S 32 GB 单卡可跑 7B 级模型 FP16 推理;多卡机型按库存申请,支持分布式训练。
香港、新加坡、胡志明市、丹佛
GPU 现货集中在四个地域,其余地域按库存申请;与同地域云主机、云盘、MySQL 在同一 VPC 内网互通。
机型与 GPU 参数
六种机型对应五代 GPU;先按任务类型选卡,再按显存和预算选机型。
| 机型 | GPU | 显存 | vCPU 与内存 | 系统盘 | 内网带宽 | 典型场景 | 月价(USD) |
|---|---|---|---|---|---|---|---|
| G4推理首选 | Tesla T4 × 1 | 16 GB | 4C8G | 20 GB SSD | 10 GbE | 视频处理、推理服务、图形渲染 | 260 |
| G7-1 | Tesla T4S × 1 | 16 GB | 4C8G | 20 GB SSD | 10 GbE | 弹性推理、图形工作负载、短周期计算 | 266 |
| G1 | Tesla K80 × 1 | 12 GB | 4C8G | 20 GB SSD | 10 GbE | 入门推理、测试验证、轻量图形 | 295 |
| G2 | Tesla P40 × 1 | 24 GB | 4C8G | 20 GB SSD | 10 GbE | 中等规模推理、并行计算、渲染 | 405 |
| G3 | Tesla V100 × 1 | 16 GB | 4C8G | 20 GB SSD | 10 GbE | 模型训练、高性能计算、高吞吐推理 | 534 |
| G7-2训练首选 | Tesla V100S × 1 | 32 GB | 10C32G | 20 GB SSD | 10 GbE | 分布式训练、多卡并行、高强度计算 | 799 |
多卡机型(2 卡、4 卡)与 A 系列 / H 系列新卡按库存申请,联系销售获取报价。
| 参数 | Tesla K80(G1) | Tesla P40(G2) | Tesla V100(G3) | Tesla T4 / T4S(G4 / G7-1) | Tesla V100S(G7-2) |
|---|---|---|---|---|---|
| 架构 | Kepler | Pascal | Volta | Turing | Volta |
| CUDA 核心 | 2,496 | 3,840 | 5,120 | 2,560 | 5,120 |
| 单精度 FP32 | 8.7 TFLOPS | 12 TFLOPS | 14 TFLOPS | 8.1 TFLOPS | 16.35 TFLOPS |
| INT8 | — | 47 TOPS | — | 130 TOPS | — |
| Tensor 性能 | — | — | 112 TFLOPS | — | 130 TFLOPS |
| 显存 | 12 GB | 24 GB | 16 GB | 16 GB | 32 GB |
| 功耗 | 300 W | 250 W | 250 W | 70 W | 300 W |
预装镜像的驱动与 CUDA 版本按季度更新;也可以从纯系统镜像自行安装,或上传自定义镜像。版本号以控制台镜像列表为准。
| 镜像 | 系统 | 驱动 | CUDA / cuDNN | 预装组件 | 适用机型 |
|---|---|---|---|---|---|
| ubuntu-22.04-cuda12.2 | Ubuntu 22.04 LTS | 535.x | 12.2 / 8.9 | Docker、NVIDIA Container Toolkit、Python 3.10 | G3、G4、G7-1、G7-2 |
| ubuntu-22.04-cuda11.8 | Ubuntu 22.04 LTS | 520.x | 11.8 / 8.6 | Docker、NVIDIA Container Toolkit、Python 3.10 | 全部机型 |
| ubuntu-20.04-cuda11.4 | Ubuntu 20.04 LTS | 470.x | 11.4 / 8.2 | Docker、Python 3.8 | G1、G2(老架构兼容) |
| pytorch-2.x | Ubuntu 22.04 LTS | 535.x | 12.2 / 8.9 | PyTorch 2.x、TorchVision、JupyterLab | G3、G4、G7-1、G7-2 |
| 纯系统镜像 | Ubuntu / CentOS / Debian / Windows | 自行安装 | 自行安装 | — | 全部机型 |
功能特性
与全球云主机共用控制台、VPC、云盘、镜像、快照与 API。
预装驱动镜像 全部机型
NVIDIA 驱动、CUDA、cuDNN、Docker 与 Container Toolkit 开箱即用。
按天 / 按小时 / 按月 全部机型
三种计费周期可切换,释放后停止计费。
GPU 监控 全部机型
GPU 利用率、显存占用、温度与功耗指标,阈值告警推送。
多卡与分布式 按库存
2 卡、4 卡机型支持 NCCL 多卡并行与跨实例分布式训练。
云盘与数据集 全部机型
挂载 RSSD / SSD 云盘存放模型与数据集,多实例共享快照复制。
自定义镜像 全部机型
固化训练环境为镜像,跨地域复制,批量创建一致的计算节点。
VPC 与安全组 全部机型
与云主机、MySQL 同 VPC 内网互通,推理入口经安全组对外暴露。
OpenAPI 与 CLI 全部机型
按训练任务自动创建、回收 GPU 实例,纳入调度系统。
7×24 技术支持 全部机型
驱动、依赖、性能问题 90 秒内响应,提供推理部署最佳实践。
GPU 可售地域
现货集中在四个地域;其他地域按库存申请,通常 1 至 3 个工作日交付。
| 地域 | 状态 | 现货机型 | 内网互通 | 推荐用途 |
|---|---|---|---|---|
| 香港 | 现货 | G1、G2、G3、G4、G7-1、G7-2 | 同地域云主机、MySQL、云盘 | 面向大中华区与东南亚的推理服务 |
| 新加坡 | 现货 | G3、G4、G7-1、G7-2 | 同地域云主机、MySQL、云盘 | 东南亚推理、训练 |
| 胡志明市 | 现货 | G4、G7-1 | 同地域云主机 | 越南本地推理与视频处理 |
| 丹佛 | 现货 | G3、G4、G7-2 | 同地域云主机、云盘 | 北美训练与渲染 |
| 东京、首尔、法兰克福、洛杉矶等 | 按库存申请 | 联系销售 | 同地域云主机 | 区域化部署 |
应用场景
四类 GPU 负载,各给一张架构、一个推荐机型和三条要点。
文本、图像与客服模型的在线推理
- T4 16 GB 跑 7B 以下模型 INT8 / FP16 推理,单卡成本最低。
- 网关做鉴权、限流与路由,推理实例按访问量横向加减。
- 模型文件放云盘,新实例从快照拉起,扩容不重新下载。
训练、微调与批量实验
- V100S 32 GB 大显存减少梯度累积,单卡吞吐最高。
- 数据集放 RSSD 云盘三副本,多节点在 VPC 内网做 NCCL 通信。
- 检查点定时快照,训练环境固化为镜像,下次实验分钟级重建。
视频转码、图像增强与离线渲染
- T4 NVENC 硬件编码做转码,P40 24 GB 做离线渲染与批量图像处理。
- 任务队列按积压量自动增减 GPU 实例,按小时计费。
- 成片与素材按访问频率分层到普通云盘,控制长期存储成本。
训练窗口与活动高峰的算力补充
- 自有集群满载时,按天租用 V100S 节点跑训练窗口,不为常年闲置买硬件。
- 活动高峰按小时加 T4 推理实例,活动结束 API 释放。
- 通过专线或 VPN 与自有机房打通,数据与模型在 VPC 内流转。
价格与计费
六种机型按月列价,全部支持按天与按小时计费;多卡机型与新卡联系销售报价。
G4 · Tesla T4
推理服务、视频处理、图形渲染
- GPU
- T4 × 1 · 16 GB
- vCPU 与内存
- 4C · 8 GB
- 系统盘
- 20 GB SSD
- 计费
- 月 / 天 / 时
- 现货地域
- 4
G7-1 · Tesla T4S
弹性推理、图形工作负载
- GPU
- T4S × 1 · 16 GB
- vCPU 与内存
- 4C · 8 GB
- 系统盘
- 20 GB SSD
- 计费
- 月 / 天 / 时
- 现货地域
- 3
G2 · Tesla P40
中等规模推理、并行计算、渲染
- GPU
- P40 × 1 · 24 GB
- vCPU 与内存
- 4C · 8 GB
- 系统盘
- 20 GB SSD
- 计费
- 月 / 天 / 时
- 现货地域
- 1
G3 · Tesla V100
模型训练、高吞吐推理
- GPU
- V100 × 1 · 16 GB
- vCPU 与内存
- 4C · 8 GB
- 系统盘
- 20 GB SSD
- 计费
- 月 / 天 / 时
- 现货地域
- 3
G7-2 · Tesla V100S
分布式训练、多卡并行
- GPU
- V100S × 1 · 32 GB
- vCPU 与内存
- 10C · 32 GB
- 系统盘
- 20 GB SSD
- 计费
- 月 / 天 / 时
- 现货地域
- 3
计费规则
| 计费项 | 计费方式 | 规则 |
|---|---|---|
| GPU 实例 | 按小时、按天、按月预付费 | 关机仍计费,释放后停止;按天价约为月价 ÷ 25,按小时价约为月价 ÷ 720,以控制台为准 |
| 多卡机型 | 按卡数线性计价 | 2 卡、4 卡按库存申请,联系销售报价 |
| 云盘 | 按 GB · 月 | 数据集与模型盘可独立购买、独立释放,挂载到不同实例 |
| 公网带宽 | 固定带宽按 Mbps · 月 | 推理入口建议固定带宽,多实例共用共享带宽包 |
| 快照与镜像 | 按占用容量 | 检查点快照、环境镜像按容量计费,跨地域复制后分别计费 |
各项单价按地域不同,以 价格页 与创建页实时报价为准。
租 GPU 还是买 GPU
只比可以量化的维度。
| 对比维度 | ZOSOC GPU 云主机 | 自购 GPU 服务器 | 主流云厂商 |
|---|---|---|---|
| 首次投入 | $260 / 月起,无押金 | 单台数万美元,交付周期数周 | 按月起租,部分需预留实例 |
| 开通时长 | 1 分钟内,镜像预装驱动 | 采购、上架、装驱动数周 | 数分钟,驱动多需自装 |
| 计费粒度 | 按小时 / 按天 / 按月 | 折旧按年 | 按小时 / 按月 |
| 闲置成本 | 释放即停止计费 | 闲置照样折旧与机房费用 | 释放即停止计费 |
| 换卡升级 | 换机型重建,分钟级 | 重新采购 | 换机型重建 |
| 与业务系统互通 | 同 VPC 内网,与云主机、MySQL 零配置互通 | 需自建网络与专线 | 同 VPC 内网 |
| 技术支持 | 7×24,90 秒响应,含部署最佳实践 | 厂商硬件保修 | 工单,按支持等级计费 |
| 支付方式 | 信用卡、支付宝、微信、东南亚钱包 | 采购合同 | 信用卡 |
三步开通,10 分钟跑起推理
选预装镜像的机型,登录后直接 docker run。
选机型与预装镜像
推理选 G4 / G7-1,训练选 G3 / G7-2;镜像选带 CUDA 12.2 的 Ubuntu 22.04。
挂载模型盘,配置网络
加一块 RSSD / SSD 云盘放模型与数据集;选 VPC 子网,安全组放行推理端口。
SSH 登录,nvidia-smi 验证
驱动与 CUDA 已就绪,docker run --gpus all 拉起 vLLM 或 Triton 对外服务。
常见问题
驱动、显存、多卡、计费,各挑最常被问到的几条。
可以。预装镜像只是省掉安装时间,你可以卸载后安装任意版本;也可以从纯系统镜像开始自行安装,再固化为自定义镜像复用。
推理可以换 INT8 / FP16 量化或切到 P40 24 GB、V100S 32 GB;训练可以用梯度累积、ZeRO 或申请多卡机型做模型并行。换机型只需从镜像重建实例,模型盘可直接挂到新实例。
2 卡、4 卡机型按库存申请,单机内 NCCL 多卡并行;多台实例在同 VPC 内网做分布式训练,内网带宽 10 GbE。
可以。短期任务用按天或按小时,确定长期使用后在控制台切换为按月,更划算;切换当期按实际使用折算。
当前机型都是整卡独享,不做切分;轻量推理建议用 T4 机型配多模型复用,或在容器层做并发调度。
放在独立的 RSSD 或 SSD 云盘上,而不是 20 GB 系统盘;云盘可以在实例之间挂载切换,做快照后复制给新实例,扩容不需要重新下载模型。
同地域同 VPC 内默认互通,延迟 0.5 ms 内;推理服务通过内网接网关实例,只把网关的弹性 IP 暴露到公网。
联系销售申请库存,通常 1 至 3 个工作日交付;也可以先在最近的现货地域部署,通过内网专线或公网连接业务系统。
关机仍占用 GPU,继续计费;任务结束请释放实例,释放前把模型盘快照或保留数据盘即可。
控制台监控包含 GPU 利用率、显存占用、温度与功耗,可设置阈值告警;也可以在实例内用 nvidia-smi 或 DCGM 导出到自己的 Prometheus。