。 图1 创建数据处理基本信息 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。 设置数据处理类型。数据处理类型支持“数据清洗”、“数据校验”、“数据选择”和“数据增强”。 针对不同的数据处理类型，您需要填写相应算子的设置参数，算子的详细参数参见数据处理预置算子说明。 图2

查看更多 →

tokenizer-name-or-path：tokenizer的存放路径 -workers：设置数据处理使用执行卡数量 -log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出 数据预处理后输出的训练数据如下： alpaca_text_document

查看更多 →

是一个用于设置序列长度的参数，表示模型处理的序列长度。在训练大规模模型时，可以通过设置这个参数来优化模型的训练速度和效果。 数据预处理后输出的训练数据如下： alpaca_text_document.bin alpaca_text_document.idx 训练的时指定的数据路径为${p

查看更多 →

Spark作为内存计算引擎，需要更多的内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 当程序运行在yarn-client模式下时，需要关注在driver端汇聚的数据量大小，根据自己的业务场景，为driver设置合理的内存。 根据自己的业务目标

查看更多 →

API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口

查看更多 →

String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类，键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。 output_path

查看更多 →

API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

查询指定流程创建者的所有流程 功能介绍 查询指定流程创建者的所有流程 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/datashare/dataset/query-processes

查看更多 →

修改项目中数据处理作业的参数接口 功能介绍 修改项目中数据处理作业的参数。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/data/process/job/{job_id}/config 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。

查看更多 →

，若有分支增加另行计算。 流程校验。 对流程中参数的规则和合法性进行校验。 流程调试。 测试流程是否按照预期的效果执行。触发方式为“事件触发”时，才显示该按钮。 流程发布。 成功发布后，流程才会自动化运行。发布后的流程，不支持再次编辑。 父主题： 流程管理

查看更多 →

下线流程中的版本 使用说明 流程中某个版本不再使用时，可通过归档功能，将其下线。 操作步骤 参考如何登录AstroFlow中操作，登录AstroFlow界面。 在“我的应用 > 全部应用”中，单击对应的应用，进入应用。 在主菜单中，选择“流程管理”。 单击对应的流程，进入流程详情页面。

查看更多 →

删除流程的某个版本 使用说明 删除流程中不再使用的某个版本。仅支持删除“设计中”的流程，“已归档”和“运行中”的流程不支持删除。 操作步骤 参考如何登录AstroFlow中操作，登录AstroFlow界面。 在“我的应用 > 全部应用”中，单击对应的应用，进入应用。 在主菜单中，选择“流程管理”。

查看更多 →

查看应用中的流程 使用说明 在流程管理中，可查看当前应用中的所有流程。 操作步骤 参考如何登录AstroFlow中操作，登录AstroFlow界面。 在“我的应用 > 全部应用”中，单击对应的应用，进入应用。 在主菜单中，选择“流程管理”，即可查看到当前应用中的所有流程。 图1 查看流程

查看更多 →

tmpl中的clientSecret配置为创建好的应用凭证信息，同时将login.html中的按钮登录链接改为已创建好的应用的登录链接，链接地址如图8所示。 图8 查看应用的登录链接 修改完成后，启动工程，访问首页登录地址。 通过“ 域名 +端口号+/login”访问首页地址，单击“登录”跳转OrgID登录页，输入账号后，可成功跳转登录后的首页地址。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →