仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

定。 弹性云服务器 ：弹性 云服务器 提供多种计费模式、规格类型、镜像类型、磁盘类型，针对不同的业务场景，自定义配置弹性云 服务器 。 云耀云服务器与弹性云服务器的购买和配置区别 表1 云耀云服务器与弹性云服务器的购买和配置区别 产品优势 特点 云耀云服务器 HE CS 弹性云服务器 ECS

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

不参与评分。 AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创建成功

查看更多 →

行统一管理，平台设置了镜像仓库管理。 创建镜像仓库 仿真服务 算法管理 在创建任务前，需要创建算法，用户可从本地上传容器镜像。 创建仿真算法 评测管理 支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 创建评测 场景管理 创建仿真场景，仿真场景库、测试套件、测试用例和逻辑泛化场景用于仿真开发。

查看更多 →

Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。

查看更多 →

可量测的、不具备实景纹理信息的连续三角面片模型。为AR应用提供虚实遮挡，为摆放虚拟物体提供位置参照。 点云 点云是目标场景表面特性的点集合，包括三维坐标（XYZ）和颜色信息（RGB），可用于场景的可视化和白模构建。 视觉定位（VPS） 视觉定位（VPS）是根据图像确定设备位置的一项技术。 通过拍摄一系列具

查看更多 →

评分方案介绍 Octopus评测指标共有30多项大类指标，当规控算法未通过某些评测指标后，评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类： 主要指标（以下简称A类）。 次要指标（以下简称B类）。 未定义重要度指标（以下简称C类）。 本设计提供如下三种内置的评分方案：

查看更多 →

选择左侧的数据，右侧将高亮显示对应的数据，内置评测信号参数请参考内置评测信号参数。 图5 评测信号 可根据需要添加数据和框图，也可根据需要选择框图的横向和纵向布局。 单击可删除不需要的框图和数据。单击“清空数据”，可清空页面上所有的数据。 内置评测信号参数 表1 内置评测信号参数 内置评测信号参数 对应中文

查看更多 →

任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

图1 重置密码 通过本地RDP远程连接到弹性云服务器（host填写弹性云服务器绑定的弹性公网IP），登录弹性云服务器并开始管理自己的跨境电商店铺。 图2 远程连接 进入云服务器，可以看到跨境卫士VPS版浏览器。 图3 跨境卫士VPS版浏览器 登录或者注册账号，参照跨境卫士帮助中心使用。

查看更多 →

├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理服务后的服务预测地址，示例：http://

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

景数据。如果清空里面的有效场景或用例，会导致任务运行失败。 不支持修改任务配置和评测的关联关系，但是评测自身属性，可以在评测管理页面进行调整。再次启动任务时，将使用新的评测方式。 父主题： 仿真服务常见问题

查看更多 →

├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json # 请求的参数，根据实际启动的服务来调整

查看更多 →

与其他服务的关系 统一身份认证服务 Octopus使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 对象存储服务 Octopus服务使用对象存储服务（Object Storage

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 典型训练问题和优化策略

查看更多 →