数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据处理场景介绍 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带

查看更多 →

管理流程引擎的流程编排服务日志 当用户的操作出现异常或者安全问题时，流程引擎在流程管理所记录的日志将能帮助用户分析原因。例如，流程引擎会记录用户对流程元模板和流程服务编排的所有操作。用户可以通过流程引擎的“流程编排服务 > 流程日志管理”找到相应的操作、操作说明、操作对象、操作内

查看更多 →

监控流程引擎的流程运行服务 管理流程引擎的流程实例 管理我的流程任务 管理流程引擎的运行服务日志 管理流程引擎的JOB 管理流程引擎的 域名 父主题： 流程配置指南

查看更多 →

修改项目中数据处理作业的参数接口 功能介绍 修改项目中数据处理作业的参数。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/data/process/job/{job_id}/config 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。

查看更多 →

管理流程引擎的流程编排服务日志 当用户的操作出现异常或者安全问题时，流程引擎在流程管理所记录的日志将能帮助用户分析原因。例如，流程引擎会记录用户对流程元模板和流程服务编排的所有操作。用户可以通过流程引擎的“流程编排服务 > 流程日志管理”找到相应的操作、操作说明、操作对象、操作内

查看更多 →

监控流程引擎的流程运行服务 管理流程引擎的流程实例 管理我的流程任务 管理流程引擎的运行服务日志 管理流程引擎的JOB 管理流程引擎的域名 父主题： 流程引擎使用指南

查看更多 →

个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

查看更多 →

API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口

查看更多 →

Spark作为内存计算引擎，需要更多的内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 当程序运行在yarn-client模式下时，需要关注在driver端汇聚的数据量大小，根据自己的业务场景，为driver设置合理的内存。 根据自己的业务目标

查看更多 →

查询指定流程创建者的所有流程 功能介绍 查询指定流程创建者的所有流程 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/datashare/dataset/query-processes

查看更多 →

运行流程引擎的流程运行服务 启动流程元模板 审批已启动的流程任务 父主题： 流程配置指南

查看更多 →

查看数据处理任务详情 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在数据处理列表中，单击数据处理任务名称，进入数据处理任务的版本管理页面。您可以在该页面进行数据处理任务的“修改”与“删除”。 图1 数据处理版本管理页面 您可

查看更多 →

API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat

查看更多 →

tmpl中的clientSecret配置为创建好的应用凭证信息，同时将login.html中的按钮登录链接改为已创建好的应用的登录链接，链接地址如图8所示。 图8 查看应用的登录链接 修改完成后，启动工程，访问首页登录地址。 通过“域名+端口号+/login”访问首页地址，单击“登录”跳转OrgID登录页，输入账号后，可成功跳转登录后的首页地址。

查看更多 →

查看应用中的流程 使用说明 在流程管理中，可查看当前应用中的所有流程。 操作步骤 参考如何登录AstroFlow中操作，登录AstroFlow界面。 在“我的应用 > 全部应用”中，单击对应的应用，进入应用。 在主菜单中，选择“流程管理”，即可查看到当前应用中的所有流程。 图1 查看流程

查看更多 →

管理流程引擎的域名 流程引擎支持针对域名设置白名单，以放行指定域名或IP地址的访问请求。例如，企业内部办公网络的域名、业务接口调用IP地址或其他已确认正常的IP地址，您可以将这些IP地址添加至流程运行服务中的“应用配置 > 域名管理”予以放行，来自域名白名单的IP地址访问请求不会被拦截。

查看更多 →

运行流程引擎的流程运行服务 使用已有流程元模板启动流程 审批已启动的流程任务 父主题： 流程引擎使用指南

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →