数据处理 作业总览 作业队列 算子管理 算子示例 父主题： 数据处理

查看更多 →

数据处理 图片处理 Data+ 在线解压

查看更多 →

计算与缓存服务安装 计算与缓存服务安装全部使用普通用户，执行：su - dpe 配置相互解析 :vi /etc/hosts ip 主机名 配置免密登录 :ssh-keygen ssh-copyid 主机名 所有节点都需要执行 上传dpe-open-space-cache-svcs-x

查看更多 →

创建科学计算大模型部署任务 模型训练完成后，可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“科学计算大模型”，参考表1完成部署参数设置，启动模型部署。

查看更多 →

专属计算集群服务是专属云解决方案中的核心服务，为专属云解决方案提供了计算专属的能力，专属云为隔离的区域，用户需开通专属云后才能申请物理设备资源使用专属计算集群服务，专属计算集群服务为专属云中各服务提供了计算资源进行使用。 在专属云内，计算资源不计费，使用用户已申请的设备节点计算资源。

查看更多 →

实现单个对象粒度的复杂任务处理，可以指定某个对象立即执行某个特定的工作流。 图1 数据处理工作流 优势 简单易用：通过控制台的图形化界面，轻松按需搭建数据处理流程。 功能强大：支持华为云各种数据处理服务的工作流处理能力。 容错性好：通过内置错误重试能力，自动重试失败或超时的任务，

查看更多 →

发布训练后的科学计算大模型 科学计算大模型训练完成后，需要执行发布操作，操作步骤如下： 在模型训练列表页面选择训练完成的任务，单击训练任务名称进去详情页。 在“训练结果”页面，单击“发布”。 图1 训练结果 填写资产名称、描述，选择对应的可见性，单击“确定”发布模型。 发布后的模型会作为资产同步显示在“空间资产

查看更多 →

查看科学计算大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看

查看更多 →

计算大模型”。模型选择完成后，参考表1、表2完成训练参数设置，启动模型训练。 表1 科学计算大模型（中期天气要素预测）训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“中期天气要素预测”。 训练类型

查看更多 →

数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析，处理的结果可以用于回访定位问题，并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下： 数据批导：创建数据导入任务，收集采集车辆原始数据。 数据处理：支持根据自定义数据服务算子，对数据包进行处理，创建不同类型的作业。

查看更多 →

服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包，则按照按需计费方式分析如下。 0~10TB范围内的数据免费，因此该用户的数据处理费用为： 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB = 128元

查看更多 →

纬向速率等。 输出设置 用于选择是否输出图片结果。 图1 调测科学计算大模型-1（天气/降水预测） 图2 调测科学计算大模型-2（天气/降水预测） 图3 调测科学计算大模型（海洋类预测） 父主题： 调用科学计算大模型

查看更多 →

时序数据处理 缺失时间填充 时序序列是在连续的等间隔时间点采集的序列，缺失时间填充即根据已知的时间信息，补充缺失的时间。缺失时间填充完成后，其值可通过“数据处理 > 数据清洗 > 空值填充”菜单，进行空值填充。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 时序数据处理

查看更多 →

栅格数据处理 打开 SuperMap iDesktop 图1 打开 在数据的数据处理选项卡下面选择重分级，选择源数据，设置参数 图2 设置参数 执行完成后在数据源下面新生成数据集result_reclass 图3 新生成数据集 在数据的数据处理选项卡下面选择重采样，选择源数据，设置参数采样模式

查看更多 →

计算 弹性云服务器 E CS 裸金属服务器 BMS 镜像服务 IMS 弹性伸缩 AS 父主题： SCP授权参考

查看更多 →

数据处理(OT应用) IoT边缘云服务为应用提供总线对接能力、设备命令下发能力。IoTEdge对应用的日志、数据存储目录进行统一配置，应用相关设置通过环境变量传递给应用。 App从输入点接收来自总线的设备数据上报，对数据进行处理，将处理后的数据通过输出点发送到总线。 App也可以

查看更多 →

固定宽度文件输入 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据

查看更多 →

项目云资源规模如何计算？ 详看交付能力提升补丁发文附件1。 父主题： 项目报备

查看更多 →

管理科学计算大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数，但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”

查看更多 →

如某导购网站 日志分析 业务，存储经常扩容，计算需求没有明显增长，计算资源浪费；某互联网客户推荐业务，存储容量缓慢线性增加，计算突发需求大，峰值计算资源消耗是低谷时几十倍，无法弹性使用计算资源。使用对象存储代替HDFS/本地盘，计算存储分离，多种计算组件独立部署，计算和存储各自按需使用，避免绑定性浪费，结构化降本30%。

查看更多 →

object 数据来源，与inputs二选一。 description 否 String 数据处理任务描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 inputs 否 Array of ProcessorDataSource objects 数据来源列表，与data_source二选一。

查看更多 →