开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

自拓展输出流 用户可通过编写代码实现将DLI处理之后的数据写入指定的云生态或者开源生态。 语法格式 CREATE SINK STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* ) WITH (

查看更多 →

MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上，因此要与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。

查看更多 →

D CS 输出流 功能描述 DLI将Flink作业的输出数据输出到分布式缓存服务（DCS）的Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有

查看更多 →

MRS Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。MRS基于Apache

查看更多 →

enable_output_null 否 当“encode”为“json”时，可以使用该参数来配置是否输出空字段。 “true”表示输出空字段（值为null）。 “false”表示不输出空字段。 示例 将数据以csv格式写入到edgeHub主题abcd中。 1 2 3 4 5 6 7

查看更多 →

MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上，因此要与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。

查看更多 →

查询插件输出配置 功能介绍 查询插件输出配置 调用方法 请参见如何调用API。 URI POST /v1/{domain_id}/agent-plugin/plugin-output 表1 路径参数 参数 是否必选 参数类型 描述 domain_id 是 String 租户ID 请求参数

查看更多 →

输入输出定义 连接参数 连接器无需认证，无连接参数。 定义输入 输入参数 此触发事件在流类型执行动作中使用，它的输入是在创建流类型执行动作的第二步“配置输入”中定义的，在该触发事件中单击右下角“mock数据”可以填写数据用于mock测试。 输出参数 和输入参数相同。 定义输出 输入参数

查看更多 →

class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录 mapred.output.dir MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自“job

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 HBase输出 HTML输入 HBase输出 固定宽度文件输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型

查看更多 →

r算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 HBase输出 HTML输入 HBase输出 固定宽度文件输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型

查看更多 →

HBase输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，设置数据保存方式。 表3 输出设置参数 参数名 解释说明 示例 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。

查看更多 →

HBase输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，设置数据保存方式。 表3 输出设置参数 参数名 解释说明 示例 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。 说明： 路径参数可以使用宏定义，具体请参考Loader算子配置项中使用宏定义。

查看更多 →

考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 HBase输出 HTML输入 HBase输出 固定宽度文件输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，根据实际场景在“存储类型

查看更多 →

配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet

查看更多 →

设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法， 主要可选的压缩算法为Zlib和Snappy。其中Zlib压缩比高，但压缩解压时间比Snappy长，消耗资源比如Snappy多。Snappy平衡了的压缩比和压缩解压的性能。推荐使用Snappy。 尽量使用Map Jo

查看更多 →

段的值。 输出类型 文件输出：文本文件输出步骤，配置已生成的字段通过分隔符连接并输出到文件。 表输出：关系型数据库输出步骤，配置输出的字段对应到数据库的指定列。 HBase输出：HBase表输出步骤，配置已生成的字段输出到HBase表的列。 Hive输出：Hive表输出步骤，配置已生成的字段输出到Hive表的列。

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割数

查看更多 →

from ... 这个报错return code2说明是在执行mapreduce任务期间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误，看文件后缀是gzip压缩，堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应

查看更多 →