C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考虑

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的batch_size大小，不影响精度，只影响得到结果速度。 eval_datasets：评测数据集和评测方法，比如ceval_gen、mmlu_gen

查看更多 →

模型推理文件 如果用户需要使用内置评测指标集，需要按照以下规范提供模型推理的启动脚本，具体参考下面文件实例。如果不使用内置评测模板，可跳过此节。 仅当使用内置评测模板时需要按此要求配置模型推理文件。如果使用自定义评测脚本评测时，仅需提供模型即可，具体目录结构由用户自行决定。 模型推理启动文件实例

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

隐私保护通话 有海外号码吗？能拨打国外号码吗？ 隐私保护通话没有海外号码，点击查看隐私号码申请权限的城市信息。 申请的隐私号码只支持在中国大陆使用，不支持与中国香港、中国澳门、中国台湾及海外的号码互拨。 父主题： 号码相关问题

查看更多 →

如果在国外节点购买资源，可以算渠道业绩吗？ 可以算渠道业绩。具体的激励比例请参考项目条例，和中国区的激励政策略有不同。 父主题： 激励

查看更多 →

任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤

查看更多 →

├──convert_awq_to_npu.py # awq权重转换脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

回放等功能。 算法管理：用于对接客户的上云算法，并支持算法的版本级管理，并可自动化触发关联的批量算法。 评测管理：支持内置评测配置和自定义评测镜像，对仿真任务中的算法展开评测。 场景管理：包含场景、场景库、逻辑场景、逻辑场景库、测试用例、测试套件等。支持页面上传、路测数据生成、泛

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：llama2-13b-chat-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：成功部署推理

查看更多 →

一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例，一般的镜像制作Dockerfile示例如下（xxx替换为实际路径）： # 载入基础镜像，训练或评测引擎一般需包含cu

查看更多 →

├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测 ├── config ├── config.json

查看更多 →

cn/进行查询。 图1 工业和信息化部 域名 行业管理信息公示 国外注册的域名可以备案吗 不可以。 如果想备案，您需要重新在工信部已批复的国内域名注册商处购买（如华为云、万网、新网等），并且购买的域名后缀需要经过工信部批复。 如果想继续使用国外注册的域名，您可以将此域名转入到工信部已批复的国内域名注册商处，然后再备案。

查看更多 →

关于CAA记录的相关解释，请参见什么是CAA？ 可能问题五：CA验证 服务器 没有检测到DNS解析记录。 解决方案：CA验证服务器位于国外，需要您放开该域名国外的访问限制。 父主题： 验证域名所有权

查看更多 →

国外IP地址访问加速域名时，会通过哪个节点加速？ 国外IP地址访问加速域名时，会根据客户端访问的出口IP地址，分配相应的CDN节点服务，域名的服务范围不同，分配的节点也不同。 如果加速域名的服务范围为全球或中国大陆境外，境外IP地址访问域名时会转发到最近的节点。 如果域名的服务范

查看更多 →

max_workers：请求的最大线程数，默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务

查看更多 →

可使用自研仿真算法，根据Octopus自研仿真评测体系，从行车安全、驾驶行为、乘员舒适性等多维度测评在多种条件下的仿真场景中控制算法控制质量。在仿真任务模块，可将仿真任务运行中关键指标变化绘制成图表，直观形象，也可在仿真任务结束后评测报告可下载至本地查看。 任务配置 仿真任务 3D回放

查看更多 →

仿真服务快速入门 流程指引 步骤一：创建镜像仓库 步骤二：创建仿真算法 步骤三：创建评测 步骤四：创建仿真场景 步骤五：创建仿真任务 步骤六：查看仿真评测结果

查看更多 →

是否对中国以外的用户提供服务？ 国外地区请咨询客户经理，评估后决定。 父主题： 关于服务交付

查看更多 →