向用户提供可靠的全托管式的Kafka消息队列。 DLI 支持创建输入流从DMS的Kafka获取数据，作为作业的输入数据。 创建DMS Kafka输入流的语法与创建开源Apache Kafka输入流一样，具体请参见开源Kafka输入流。 父主题： 创建输入流

查看更多 →

执行具有输入参数的语句 准备一个普通语句，通过替换参数（在想要替换参数的地方输入问号）执行它的特定版本。使用EXECUTE语句通过USING子句给定参数执行准备语句。示例如下： EXEC SQL BEGIN DECLARE SECTION; const char *stmt

查看更多 →

执行具有输入参数的语句 准备一个普通语句，通过替换参数（在想要替换参数的地方输入问号）执行它的特定版本。使用EXECUTE语句通过USING子句给定参数执行准备语句。示例如下： EXEC SQL BEGIN DECLARE SECTION; const char *stmt

查看更多 →

输入单位添加的用户名后密码登录，提示请输入企业简称 问题描述： 输入单位添加的用户名后密码登录，提示请输入企业简称，如图 错误提示所示。 图1 错误提示 可能原因 您未正确输入用户账号。 处理办法 用户的前台登录账号设置格式为“企业管理员设置的登录账号@企业简称”，例如user@huawei。登录前请确认账号正确性。

查看更多 →

Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time

查看更多 →

Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time

查看更多 →

查询workflow输入 功能介绍 查询特定流程输入。 URI GET /v1/workflows/{workflow_id}/inputs 表1 参数说明 参数 是否必选 参数类型 描述 workflow_id 是 String 需要查询流程的id，即创建workflow的返回值。 请求消息

查看更多 →

type_class_name 是 用户实现获取源数据的source类名称，注意包含完整包路径。 type_class_parameter 是 用户自定义source类的入参，仅支持一个string类型的参数。 注意事项 用户自定义source类需要继承类RichParallelSourceFu

查看更多 →

doop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 父主题： 集群创建类

查看更多 →

参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat.split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置，可以计算分片的大小。计算公式如下： splitSize

查看更多 →

mpt。 对于不同类型的应用，希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务，但允许丢失当前运行的Container。但是对于长周期的YARN服务而言，用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationA

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

介绍如何处理失败的任务信息。存在至少一个失败的任务。当执行备份任务失败时会产生一条“备份状态”为“错误”的备份，并且在“任务状态”的“备份任务”页签中产生一条信息，可通过单击信息后面的查看备份任务失败的原因。当执行复制任务失败时会在目标区域产生一条带有标识且“备份状态”为“错误”的备份。同时在源区域和目标区域“任务状态”的“复制任务”页签

查看更多 →

当前 MRS 提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-normal MapReduce统计数据的应用开发示例： 提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMapp

查看更多 →

当前MRS提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-security MapReduce统计数据的应用开发示例： 提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMa

查看更多 →

根据选择的输入口返回配置值 接口名称 WEB_GetExternalCareraDftParamAPI(后续废弃) 功能描述 根据选择的输入口返回配置值 应用场景 根据选择的输入口返回配置值 URL https://ip/action.cgi?ActionID=WEB_GetEx

查看更多 →

get_workflow_inputs(workflow_id)查询流程输入。

查看更多 →

HOSTING输出类型，仅云上作业支持，至少选择一种输出类型。使用该输出类型时，用户下发作业的运行结果将托管到服务侧的OBS，用户可以通过查询作业详情接口获取到结果中的result.json内容等信息，和托管文件的桶和路径信息；另外，用户可以利用托管文件的桶、路径信息，调用OBS SDK下载托管文件。请参见hosting字段数据结构说明。

查看更多 →

配置分析任务输入 点击目标分析任务，如下图1所示。 图1 目标分析任务 点击资产ID的修改图标进行修改，如下图2所示（只有属性引用类型为“引用其他资产属性”的输入参数需要配置资产ID）。 图2 资产ID 父主题： 工作台

查看更多 →

CloudTable HBase输入流 功能描述 创建source流从 表格存储服务 CloudTable的HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建

查看更多 →

户自实现解码类的类名（包含完整包路径），该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时，可以通过配置该参数指定用户自实现解码类的入参，仅支持一个string类型的参数。 krb_auth

查看更多 →