更新时间:2024-11-02
异构兼容
支持主流计算架构,提高企业选择计算资源的灵活性
AICP支持多种CPU架构,包括X86架构 CPU,国产服务器的鲲鹏ARM架构、海光的C86架构;AICP也广泛兼容主流GPU型号,包括Nvidia GPU系列、主流国产GPU芯片,如华为昇腾(Ascend)NPU、天数天垓(BI-V150)、智凯(MR-V100)等。AICP平台的异构算力兼容性,使企业能够充分利用现有的多种计算资源(包括CPU、GPU等)进行大模型训练和推理。减少了对特定硬件的依赖,避免了额外的硬件投资,提升企业选择计算资源的灵活性。
成本优化
大幅降低企业的大模型训练和推理成本
AICP平台提供多种训练优化技术,包括混合精度训练、ZeRO分布式训练优化、CPU offload、稀疏注意力等,可以大幅度降低大模型训练的计算量、减少算力资源消耗、减少训练时长,整体上,大幅度降低了训练成本,降低幅度高达60%;
AICP平台提供模了型压缩能力,并基于自动化对齐机制,保障压缩后模型的效果,效果损耗几乎无感知。模型推理成本降幅最高达到75%。
更高性能
在同等资源条件下,可支撑更大的用户规模和更好的用户体验
通过AICP的模型量化、异步批推理机制、联合CPU和GPU通信优化、注意力稀疏化、以及KV缓存等特性,能够显著提升用户请求的并发量和推理服务的吞吐量、降低推理时延、提升序列长度。这样,可接入的用户将会更多,用户能够感受到的等待时间就更短,整体将获得更好的体验。
简单易用
非专业用户也能进行高质量的大模型开发和部署
AICP平台通过简单易用的UI界面,提供向导化、低门槛、可视化的大模型开发和部署流程,使得不具备AI专业知识的人员,也能够进行大模型微调和部署。降低企业对高阶AI人员的依赖,极大降低了企业搭建AI技术团队的成本。
保护资产安全
AICP内置模型动态加密技术,用户无需关注技术细节即可实现模型动态加密,有效保护企业模型资产安全、防止模型泄露。