背景信息

模型压缩是一种用于减少大语言模型的存储和计算资源需求，同时尽量保持其性能和准确性的技术。

模型压缩的意义：

1. 降低资源消耗：大语言模型通常需要大量的计算资源和存储空间。通过压缩，可以显著减少这些需求，使得模型在资源受限的环境中也能运行。
2. 提高效率：压缩后的模型可以加快推理速度，减少延迟，从而提高用户体验。
3. 降低成本：减少计算和存储资源的需求，直接降低了运行和维护的成本。
4. 便于部署：压缩后的模型更易于在移动设备、嵌入式系统等资源有限的设备上部署，扩大了应用场景。

前提条件

1. 算力池的创建；
2. 平台存储的配置；
3. 上传支持压缩的模型；
4. 如果需要使用对齐数据集还需要上传对应数据集；

完成上述步骤后，才可以启动模型压缩任务。

约束与限制

1. 当前仅支持压缩平台支持的模型
2. 压缩程度仅支持int4
3. 已压缩的模型不支持压缩
4. 加密过的模型不支持压缩
5. 压缩使用的gpu需要是平台支持的显卡
6. 压缩实例数不超过500

操作步骤

步骤1 使用浏览器，用SCP的管理员或SCP租户登录SCP控制台

管理员场景登录地址：https:// SCP的访问地址:4430。例如https://192.168.200.100:4430/

租户场景登录地址：https:// SCP的访问地址。例如https://192.168.200.100

步骤2  在导航栏左上角单击 ，选择人工智能模块，选择“AI算力平台 ”，进

入AICP控制台页面

步骤3  单击左侧导航栏的“模型调优”展开功能，继续单击“模型压缩”，进入模型压缩管理页面，即量化

步骤4 在模型压缩页面，单击“创建”，进入压缩创建页面

步骤5 在创建模型压缩页面，填写相关配置进行任务压缩

参数说明