选择左侧的数据，右侧将高亮显示对应的数据，内置评测信号参数请参考内置评测信号参数。 图5 评测信号 可根据需要添加数据和框图，也可根据需要选择框图的横向和纵向布局。 单击可删除不需要的框图和数据。单击“清空数据”，可清空页面上所有的数据。 内置评测信号参数 表1 内置评测信号参数 内置评测信号参数 对应中文

查看更多 →

配置。 购买配置流程请详细参考申请和绑定弹性公网IP和添加DNAT规则。 添加映射 服务器 地址：172.16.36.220。 添加DNAT配置用于将内网服务器映射到公网，通过公网客户端访问内网服务器。 配置验证 配置完成后，测试连通性及访问相应端口。 从公网任一客户机ping DN

查看更多 →

云备份支持备份整个服务器，为服务器提供数据保护。RAID集群等需要数据一致性要求较高的场景建议使用云服务器备份。 备份/恢复对象：服务器中的所有云硬盘（系统盘和数据盘） 推荐场景：需要对整个云服务器进行保护 优势：云服务器备份支持崩溃一致性，备份的同一个服务器下的所有磁盘数据具有

查看更多 →

库或用例中的场景数据。如果清空里面的有效场景或用例，会导致任务运行失败。 不支持修改任务配置和评测的关联关系，但是评测自身属性，可以在评测管理页面进行调整。再次启动任务时，将使用新的评测方式。 父主题： 仿真服务常见问题

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

创建镜像仓库 仿真服务 算法管理 在创建任务前，需要创建算法，用户可从本地上传容器镜像。 创建仿真算法 评测管理 支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 创建评测 场景管理 创建仿真场景，仿真场景库、测试套件、测试用例和逻辑泛化场景用于仿真开发。 创建仿真场景 任务管理

查看更多 →

(UTC+08:00)北京，重庆，香港特别行政区，乌鲁木齐 需要客户提供NTP服务器地址，并且云平台和CPE（customer-premises equipment，客户终端设备）与NTP服务器网络可达。 NTP认证 OFF NTP客户端模式 手动配置 NTP服务器 10.10.1.1 认证模式

查看更多 →

不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 大模型微调训练类问题

查看更多 →

(UTC+08:00)北京，重庆，香港特别行政区，乌鲁木齐 需要客户提供NTP服务器地址，并且云平台和CPE（customer-premises equipment，客户终端设备）与NTP服务器网络可达。 NTP认证 OFF NTP客户端模式 手动配置 NTP服务器 10.10.1.1 认证模式

查看更多 →

概念咨询 中国香港站点和中国大陆站点有什么区别？ 中国香港站点和中国大陆站点的区别如下： 中国香港站点购买 域名 后无需备案，可以直接在后台绑定域名并使用。中国大陆节点购买域名后需要先完成备案，才可以在后台绑定域名。 中国香港站点支持绑定多个一级或者子域名，中国大陆站点只能绑定一个一级域名和多个子域名。

查看更多 →

任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

化解决方案的场景下，天宽也会开发自定义评测脚本，确保评测方案能够全面覆盖项目的特殊需求，实现对模型表现的全方位评估和优化。通过这一系统化的评测流程，天宽确保模型能够在实际业务中达到最佳性能。 图9 精度对比 实施模型能力评测时，首先运行评测测试，执行模型在预设的测试集上的推理，并

查看更多 →

(UTC+08:00)北京，重庆，香港特别行政区，乌鲁木齐 需要客户提供NTP服务器地址，并且云平台和CPE（customer-premises equipment，客户终端设备）与NTP服务器网络可达。 NTP认证 OFF NTP客户端模式 手动配置 NTP服务器 10.10.1.1 认证模式

查看更多 →

(UTC+08:00)北京，重庆，香港特别行政区，乌鲁木齐 需要客户提供NTP服务器地址，并且华为乾坤云平台和CPE（customer-premises equipment，客户终端设备）与NTP服务器网络可达。 NTP认证 OFF NTP客户端模式 手动配置 NTP服务器 10.10.1.1

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

保存等操作。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、泛化、在线仿真编

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到

查看更多 →

├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →