背景信息

在大语言模型量化过程中，查看压缩效果是一个重要的步骤，以确保模型在压缩后仍然能够满足预期的性能要求。

操作步骤

步骤1 登录AICP平台

步骤2 在导航栏左上角单击 ，选择人工智能模块，选择“AI算力平台 ”，进入AICP控制台页面

步骤3  单击左侧导航栏的“模型调优”展开功能，继续单击“模型压缩”，进入模型压缩管理页面，即量化

说明：完成压缩的模型将会在模型仓库里以源模型的分支版本存在。例如A模型版本为V1.0，压缩的A模型将会是模型仓库里A模型的版本V2.0

以下是一些常见的方法和步骤来确定压缩后的效果是否达到预期：

1. 性能评估指标。压缩后的效果通常通过以下几个性能评估指标来确定：

1. 准确率（Accuracy）：对于分类任务，压缩前后的模型在验证集或测试集上的准确率对比。
2. 损失函数（Loss）：比较压缩前后模型的损失值。
3. 推理时间（Inference Time）：压缩后模型的推理速度是否有显著提升。
4. 模型大小（Model Size）：压缩后模型的文件大小是否显著减小。
5. 显存占用（GPU Memory Usage）：模型在运行时的显存存占用情况。

2. 基准测试（Benchmarking）

在压缩前后对模型进行基准测试，使用相同的数据集和测试环境，记录各项性能指标。常见的基准测试包括：

1. 标准数据集测试：使用标准的测试数据集进行评估。
2. 实际应用场景测试：在实际应用场景中进行测试，观察模型的表现。

我们可以通过AICP的在线体验服务来对压缩前后的模型进行benchmark测试，评估压缩效果。