AICP算力平台

AICP面向用户提供一站式大模型开发和推理服务,覆盖大模型开发和部署的全流程,包括从数据接入、模型训练、模型管理、模型压缩、模型加密、模型推理的全流程。
点击可切换产品版本
知道了
不再提醒
1.0.0
{{sendMatomoQuery("AICP算力平台","概念说明")}}

概念说明

更新时间:2024-09-04

参数

解释

部署位置

物理集群,用于运行推理服务的集群环境

负载均衡器

LB

规格

网关实例占用性能消耗规格

副本数

网关实例数,副本数越多可承载的流量越大

规格和副本数参考值

副本数

规格

ak/sk

请求体/响应大小

QPS(X86)

QPS(C86)

单副本

0.5C256M

有ak/sk

请求1k/响应10K

3203.35

1368.76

请求10k/响应10K

2397.26

1328.77

1C512M

有ak/sk

请求1k/响应10K

4922.66

2512.99

请求10k/响应10K

3880

2406.24

2C1G

有ak/sk

请求1k/响应10K

9866.18

3591.28

请求10k/响应10K

7985.53

3500.17

三副本

0.5C256M

有ak/sk

请求1k/响应10K

8743.72

4215.15

请求10k/响应10K

7575.68

4191.44

1C512M

有ak/sk

请求1k/响应10K

14442.42

5815.21

请求10k/响应10K

12802.41

5565.8

2C1G

有ak/sk

请求1k/响应10K

29904.25

9756.65

请求10k/响应10K

21228.31

8884.79

五副本

0.5C256M

有ak/sk

请求1k/响应10K

15171.95

6981.08

请求10k/响应10K

12502.76

6511.19

1C512M

有ak/sk

请求1k/响应10K

23660.17

8359.41

请求10k/响应10K

19180.83

7826.97

2C1G

有ak/sk

请求1k/响应10K

46086.11

12905.91

请求10k/响应10K

30214.95

10263.14