中软国际数据治理专业服务解决方案实践

接口，获取后台数据。 iframe组件提供配置项（配置传入url接口），按照iframe组件配置项的出参，在应用中开发后台服务（脚本或服务编排）。 iframe组件提供的配置项出参为：iframeUrl。 图20 “数据”页签 如下以一个简单的示例说明如何通过接口传入url。 在应用中创建目录、创建脚本并启用脚本。

查看更多 →

GeminiDB Influx最大能支持到多少PB的数据 GeminiDB Influx支持的最大数据容量请参见数据库实例规格中实例的最大存储空间。 父主题： 产品咨询

查看更多 →

SFT全参微调超参配置 本章节介绍SFT全参微调前的超参配置，可以根据实际需要修改。 SFT全参微调脚本baichuan2.sh，存放在6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2目录下。可以根据实际需要修改超参配置。

查看更多 →

parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data

查看更多 →

SFT全参微调数据处理 SFT全参微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tats

查看更多 →

SFT全参微调数据处理 SFT全参微调（SFT fine-tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/silk-road/a

查看更多 →

查询信息窗节目 描述 获取信息窗节目。 调试 您可以在 API Explorer 中调试该接口。 接口原型 表1 接口原型 请求方法 GET 请求地址 /v1/usg/sss/programs 传输协议 HTTPS 请求参数 表2 参数说明 参数 是否必须 类型 位置 描述 offset

查看更多 →

更新信息窗节目 描述 更新信息窗节目。 调试 您可以在API Explorer中调试该接口。 接口原型 表1 接口原型 请求方法 PUT 请求地址 /v1/usg/sss/programs/{id} 传输协议 HTTPS 请求参数 表2 参数说明 参数 是否必须 类型 位置 描述

查看更多 →

nonce：随机字符串 signature：鉴权签名 客户侧收到回调后，需要根据签名算法生成鉴权签名，并与入参的signature进行校验，若一致表示验证通过。 签名（signature）字符串生成方式： 根据参数名称对所有的请求参数（除这三个参数外：timestamp、nonc

查看更多 →

SFT全参微调 SFT全参微调数据处理 SFT全参微调权重转换 SFT全参微调超参配置 SFT全参微调任务 查看性能 父主题： Baichuan2-13B模型基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

查询信息窗发布 描述 获取信息窗发布。 调试 您可以在API Explorer中调试该接口。 接口原型 表1 接口原型 请求方法 GET 请求地址 /v1/usg/sss/publications 传输协议 HTTPS 请求参数 表2 参数说明 参数 是否必须 类型 位置 描述 offset

查看更多 →

timestamp：当前时间戳， nonce：随机字符串， signature：鉴权签名。 客户侧收到回调后，需要根据签名算法生成鉴权签名，并与入参的signature进行校验，若一致表示验证通过。 签名（signature）字符串生成方式： 根据参数名称对所有的请求参数（除这三个参数外

查看更多 →

创建超参优化服务 超参优化服务可以对已创建好的模型训练工程进行超参调优，通过训练结果对比，选择一组最优超参组合。并不是所有的训练工程都可以创建超参优化服务。创建超参优化服务对已创建的训练工程要求如下： 训练工程是可以成功执行训练任务的 训练工程中超参是通过SDK（softcomai

查看更多 →

新增信息窗节目 描述 新增信息窗节目。 调试 您可以在API Explorer中调试该接口。 接口原型 表1 接口原型 请求方法 POST 请求地址 /v1/usg/sss/programs 传输协议 HTTPS 请求参数 表2 参数说明 参数 是否必须 类型 位置 描述 X-Access-Token

查看更多 →

聚合服务编排中非纯脚本服务选择入参时，提示错误“初始数据实体必填入参为空，请选择必填入参”？ 可能原因 初始数据实体作为入参的属性，未被设置为必填属性。 处理方法 登录LinkX-F系统首页。 选择“数据服务 > 聚合服务编排”，进入“聚合服务编排”页面。 单击具体服务的“编码”链接，进入服务详情页。

查看更多 →

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置

查看更多 →

关注以下操作才能开启超参搜索。 当您选择支持超参搜索的算法，需单击超参的范围设置按钮才能开启超参搜索功能。 图2 开启超参搜索功能 开启超参搜索功能后，用户可以设置搜索指标、搜索算法和搜索算法参数。三个参数显示的支持值与算法管理模块的超参设置对应。 完成超参搜索作业的创建后，训练作业需要运行一段时间。

查看更多 →

0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/

查看更多 →

SFT全参微调训练 SFT全参微调数据处理 SFT全参微调权重转换 SFT全参微调任务 父主题： LLama2系列模型基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

分页查询信息窗素材 描述 分页查询信息窗素材。 调试 您可以在API Explorer中调试该接口。 接口原型 表1 接口原型 请求方法 GET 请求地址 /v1/usg/sss/materials 传输协议 HTTPS 请求参数 表2 参数说明 参数 是否必须 类型 位置 描述

查看更多 →

法从仿真器和AD算法按帧接收数据，每接收一帧数据，就调用一次评测函数，在最后仿真结束时将评测结果写成评测pb文件。 实时评测的实现包括如下几个步骤： 代码内实现与仿真器的通信，实时接收仿真器的帧数据，也可同时接收仿真器和AD算法的数据。 处理每帧数据，不断更新评测结果。 仿真结束

查看更多 →