模型输出目录规范 模型导入（转换）任务执行完成后，华为HiLens将转换后的模型输出至指定的OBS路径。针对不同的转换任务，基于Ascend芯片，其模型输出目录需要满足一定的规范要求。华为HiLens当前对模型输出目录的要求如下： 针对基于Caffe框架的模型，执行模型导入（转换）时，其输出目录说明如下所示。

查看更多 →

多源数据目录 概述 Hive 父主题： 数据湖分析

查看更多 →

多源数据目录 多源数据目录旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。 多源数据目录功能在原有的元数据层级上，新增一层Catalog，构成Catalog -> Database -> Table的三层元数据层级。其中，Catalog可以直接对应到外部数据目录。

查看更多 →

xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。 “yarn.nodemanager.resource.memory-mb” “mapreduce.map.memory

查看更多 →

xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。 “yarn.nodemanager.resource.memory-mb” “mapreduce.map.memory

查看更多 →

输出 保存为DLI OBS表 保存数据 保存CSV数据到OBS 保存模型 保存模型到OBS 保存parquet数据 数据压缩 父主题： 输入输出

查看更多 →

默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。 针对以上情况，可以通过将以下参数“mapreduce.fileoutputcommitter

查看更多 →

e目录中。 数据导入HDFS 在MapReduce作业的Map阶段中从外部数据源抽取数据，并将数据输出到HDFS临时目录下（以“输出目录-ldtmp”命名）。 在MapReduce作业的提交阶段，将文件从临时目录迁移到输出目录中。 数据导出到关系型数据库 在MapReduce作业

查看更多 →

DIS Agent支持配置监听多个目录或文件，例如想收集"/home/folder1/file1"和"/home/folder2/file2"这两个文件的日志，可以通过配置多个DISStream来实现：

查看更多 →

默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。 针对以上情况，可以通过将以下参数“mapreduce.fileoutputcommitter

查看更多 →

OBS桶名，选用obs类型输出时必填。 最大长度：63 path String OBS的路径，选用obs类型输出时必填。 最大长度：1023 data_category Array of strings 作业输出数据类别的列表，选填，仅部分服务需要。当输出类型下有这个列表时，表示希望这个输出类型下存

查看更多 →

表输出 概述 “表输出”算子，用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入：需要输出的字段 输出：关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容

查看更多 →

Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录，切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE

查看更多 →

选择“更多 > 同步配置”。同步完成后重启Yarn服务。 周期性收集日志功能目前仅支持MapReduce应用，且MapReduce应用必须进行相应的日志文件滚动输出配置，需要在MapReduce客户端节点的“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中进行如表3所示的配置。

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

示例-输出 本示例展示了多种输出端的接口调用，在使用前请确保各种输出端已连接并可用，若您的某种输出端条件不具备，请将示例代码当中相应的代码注释掉或者删除，再运行示例代码。输出模块示例如下所示： #! /usr/bin/python3.7 import hilens import cv2

查看更多 →

OBS桶名，选用obs类型输出时必填。 最大长度：63 path 是 String OBS的路径，选用obs类型输出时必填。 最大长度：1023 data_category 否 Array of strings 作业输出数据类别的列表，选填，仅部分服务需要。当输出类型下有这个列表时，表

查看更多 →

输出变量 输出变量可以理解为模块的返回值，通过关键字 "output" 进行声明。输出变量是一种对外公开某些信息的方法，既可以在根模块中运行 terraform apply/output 命令输出特定的值，又可以在子模块中将资源的属性值提供给父模块。 声明输出变量 按照约定，输出变量通常在名为

查看更多 →

Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase表）和phoenix表。

查看更多 →