AICP 2.3.0

1.一体化部署

支持在业务K8S集群的GPU裸金属服务器上创建虚拟机，做到一台GPU裸金属机器跑起AICP平台

2.支持推理引擎多版本

AICP支持创建模型服务在“自定义模型”场景中，选择推理引擎的版本

3.AICP支持创建模型服务选择不同场景的推理模式

4.部分模型支持思维链&工具调用解析

AICP支持创建模型服务时根据模型的特性选择是否开启思维链解析或者工具调用解析

5.支持模型服务配置多个API Key进行访问

有在模型服务创建时生成的apikey移动至《API Key管理》，并支持同个服务配置多个key

 

6.API Key 管理

支持模型服务配置多个API Key进行访问

AICP 2.1.0

1.满血版Deepseek 671B大模型优化

①支持671B满血版满精度的分布式推理：支持671B大模型服务在多节点环境下进行并行推理，提升模型吞吐与处理能力

②支持低成本部署671B满血版大模型（混合精度）：在 4 卡、8 卡场景下支持 671B 级别大模型的高效推理，满足 8 并发 80 tokens/s 性能目标

2.自定义服务

支持自定义镜像增删改查、自定义服务增删改查、自定义服务管理。可通过自定义服务支持大小模型混部场景，可通过vgpu+自定义镜像+自定义模型+自定义服务完成小模型的部署

3.vGPU

深信服通过软件方案实现CUDA请求劫持，无需英伟达切分授权，即可实现GPU切分和细粒度调度，大幅降低用户建设成本。支持创建训练、量化、模型服务、自定义服务时选择vGPU。算力最小粒度为1%，显存最小粒度是256MB

4.显卡异构与模型兼容

详情请见兼容性列表

5.支持外置存储

支持标准NFS协议第三方存储对接作为平台存储使用

 

AICP 2.0.0

1.数据集管理

 支持admin在创建/编辑设数据集的操作时设置数据集权限

2.模型仓库

 admin账号下支持创建和编辑模型时设置模型权限（默认：私有，支持选择私有、公有）

3.平台管理

 1>支持添加/编辑算力池时将算力池共享给租户使用

 2>支持创建/编辑网关时将网关给特定租户使用

4.安全saas&APEX适配

 1>适配安全大模型

         a、检测大模型
         b、研判大模型
         c、安全基座大模型
         d、安全GPT大模型
         e、数据安全大模型

 2>安全小模式适配列表

         a、运营GPT-辅助驾驶
         secGptModelRerank
         secGptModelEmbedding
         b、运营GPT-自动驾驶
         investigation
         investigationRelation

 

AICP 1.1.0

模型训练管理

 

模型服务管理

 

模型加密

 

平台关联

 

 

安全 saas 适配

 

数据面重构