预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools”目录中，脚本样

查看更多 →

作业配置添加字段，MongoDB字段映射存在问题 问题描述 CDM 作业配置源端MongoDB添加字段，目的端MongoDB数据库字段映射，作业运行后，目的端数据库查看，数据存在问题，没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段，因为Mo

查看更多 →

用户登录MAS控制台->多活管理->指定实例->MongoDB监控，查看原因及处理异常。 可能导致MongoDB数据中心的数据丢失。 MAS MongoDB状态恢复 重要 MAS服务多活管理中心MongoDB监控探测到MongoDB数据库实例状态恢复正常。 无。 无。 MAS ElasticSearch状态异常

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

获取大屏指定组件数据 功能介绍 获取大屏指定组件数据。 URI POST /v1/{project_id}/screens/{screen_id}/query-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参考获取项目ID。

查看更多 →

配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称，单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。

查看更多 →

版本管理 小版本手动升级 - √ √ √ √ √ √ √ √ √ √ - 小版本自动升级 - × × × × × × × × × × - 大版本手动升级 - × × × × × × × × × × - 日志管理 慢日志查询 - √ √ √ √ √ √ √ √ √ √ - 慢日志下载

查看更多 →

新增MongoDB监控-数据中心 表3 数据中心配置信息 参数 配置说明 云选择 被监控的MongoDB数据库部署的环境。 局点 被监控数据库所在区域。 连接地址 MongoDB数据库的访问地址和端口。 填写数据库配置，完成后单击“下一步：高级配置”。 图3 新增MongoDB监控-数据库配置 表4 数据库配置信息

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →

MongoDB Exporter接入 操作场景 使用MongoDB过程中需要对MongoDB运行状态进行监控，以便了解MongoDB服务是否运行正常，排查MongoDB故障问题原因。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控MongoDB运

查看更多 →

MongoDB/DDS增量迁移 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过 DataArts Studio 数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

MongoDB Exporter接入 操作场景 使用MongoDB过程中需要对MongoDB运行状态进行监控，以便了解MongoDB服务是否运行正常，排查MongoDB故障问题原因。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控MongoDB运

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

当推理计算完成后，需要将推理结果或者推理结束信号发送给Host端，如果在推理Engine内部调用SendData回传数据到Host端，将会消耗推理Engine的时间。建议单独开一个专门负责回传数据的Engine（例如：DataOptEngine），当推理结束后，推理Engine将处理数据透传给DataOptEngine，由DataOptE

查看更多 →

当推理计算完成后，需要将推理结果或者推理结束信号发送给Host端，如果在推理Engine内部调用SendData回传数据到Host端，将会消耗推理Engine的时间。建议单独开一个专门负责回传数据的Engine（例如：DataOptEngine），当推理结束后，推理Engine将处理数据透传给DataOptEngine，由DataOptE

查看更多 →

数据处理预置算子说明 数据校验 数据清洗 数据选择 数据增强

查看更多 →

个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

查看更多 →

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。

查看更多 →