更新时间:2024-11-02
背景信息
在线体验可以快速验证训练后的模型在正常部署后的推理效果
前提条件
对应的推理服务需要正常启动,状态为运行中才可以正常使用
约束与限制
支持同一个tab页面最多打开3个推理服务,同时验证效果,进行效果比对;针对不同的模型会限制其最大token数,请注意不要超过
操作步骤
步骤1 使用浏览器,用SCP的管理员或SCP租户登录SCP控制台
管理员场景登录地址:https:// SCP的访问地址:4430。例如https://192.168.200.100:4430/
租户场景登录地址:https:// SCP的访问地址。例如https://192.168.200.100
步骤2 在导航栏左上角单击 ,选择人工智能模块,选择“AI算力平台 ”,进入AICP控制台页面
步骤3 单击左侧导航栏的“在线体验”,进入模型推理体验界面
步骤4 单击“去创建”,进入模型推理体验配置页面
步骤5 单击“去创建”,进入模型推理体验配置页面