文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字

查看更多 →

文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字

查看更多 →

文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者 对象存储服务 （OBS）等文件系统。数据生成后，可直接对生成的目录创建非 DLI 表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。

查看更多 →

在作业详情页面的左侧“输出文件”区域，可单个或批量下载作业输出文件到本地。 单个下载 在输出文件列表中，选择需要下载的输出文件，单击“操作”列的“下载”。 批量下载 在输出文件列表中，勾选需要下载的输出文件，单击列表上方的“下载”。 图2 下载输出文件 删除作业输出文件 在左侧导航栏中，选择“任务”，进入仿真任务管理页面。

查看更多 →

文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。

查看更多 →

查看输出文件和日志 查看并验证输出文件 迁移流程结束后，用户可使用对比工具（例如BeyondCompare®）将输入文件与输出文件进行比较。为了简化对比过程，也可以先对源SQL文件进行格式化。 在Linux操作系统上运行以下命令以查看输出文件夹中的迁移文件。Windows操作系统不再赘述。

查看更多 →

多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器 端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置

查看更多 →

多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置

查看更多 →

表输出 概述 “表输出”算子，用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入：需要输出的字段 输出：关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容

查看更多 →

输入输出文件格式要求 如下为输入文件格式和输出文件格式要求。 输入文件格式要求 输入数据在obs下文件组织形式： |--- Alignment |--- 2023-12-21-02-51-43 |--- images |--- cam-0

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割数据

查看更多 →

<sensitive> 注意：标记为敏感项的输出变量在输出时会自动被隐藏，但其输出值仍然可以通过以下方式可见： 输出变量的值记录在 state 文件中，其值对所有能够访问state 文件的用户均可见。 子模块中敏感输出变量值被父模块调用，通过父模块的相关输出和资源引用后可以在CLI中显示。

查看更多 →

示例-输出 本示例展示了多种输出端的接口调用，在使用前请确保各种输出端已连接并可用，若您的某种输出端条件不具备，请将示例代码当中相应的代码注释掉或者删除，再运行示例代码。输出模块示例如下所示： #! /usr/bin/python3.7 import hilens import cv2

查看更多 →

Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式： CS V、ORC、RC和PARQUET）。

查看更多 →

表输出 概述 “表输出”算子，用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入：需要输出的字段 输出：关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容

查看更多 →

HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase表）和phoenix表。

查看更多 →

Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格

查看更多 →

HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase表）和phoenix表。

查看更多 →

DIS输出 算子简介 名称： DIS输出，IoT数据分析服务仅在华为云部署形态支持DIS数据源 功能说明： 数据输出到DIS云服务。 约束：下游不允许接任何算子。 算子配置 基础配置项 算子名称： 配置项英文名：name 说明： 算子名称，对算子进行个性化的命名，以辅助增加可读性

查看更多 →

<sensitive> 注意：标记为敏感项的输出变量在输出时会自动被隐藏，但其输出值仍然可以通过以下方式可见： 输出变量的值记录在 state 文件中，其值对所有能够访问state 文件的用户均可见。 子模块中敏感输出变量值被父模块调用，通过父模块的相关输出和资源引用后可以在CLI中显示。

查看更多 →