{{sendMatomoQuery("AICP算力平台","概念说明")}}
概念说明
更新时间:2024-09-04
参数 |
解释 |
部署位置 |
物理集群,用于运行推理服务的集群环境 |
负载均衡器 |
LB |
规格 |
网关实例占用性能消耗规格 |
副本数 |
网关实例数,副本数越多可承载的流量越大 |
规格和副本数参考值
副本数 |
规格 |
ak/sk |
请求体/响应大小 |
QPS(X86) |
QPS(C86) |
单副本 |
0.5C256M |
有ak/sk |
请求1k/响应10K |
3203.35 |
1368.76 |
请求10k/响应10K |
2397.26 |
1328.77 |
1C512M |
有ak/sk |
请求1k/响应10K |
4922.66 |
2512.99 |
请求10k/响应10K |
3880 |
2406.24 |
2C1G |
有ak/sk |
请求1k/响应10K |
9866.18 |
3591.28 |
请求10k/响应10K |
7985.53 |
3500.17 |
三副本 |
0.5C256M |
有ak/sk |
请求1k/响应10K |
8743.72 |
4215.15 |
请求10k/响应10K |
7575.68 |
4191.44 |
1C512M |
有ak/sk |
请求1k/响应10K |
14442.42 |
5815.21 |
请求10k/响应10K |
12802.41 |
5565.8 |
2C1G |
有ak/sk |
请求1k/响应10K |
29904.25 |
9756.65 |
请求10k/响应10K |
21228.31 |
8884.79 |
五副本 |
0.5C256M |
有ak/sk |
请求1k/响应10K |
15171.95 |
6981.08 |
请求10k/响应10K |
12502.76 |
6511.19 |
1C512M |
有ak/sk |
请求1k/响应10K |
23660.17 |
8359.41 |
请求10k/响应10K |
19180.83 |
7826.97 |
2C1G |
有ak/sk |
请求1k/响应10K |
46086.11 |
12905.91 |
请求10k/响应10K |
30214.95 |
10263.14 |