enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略

查看更多 →

设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>

查看更多 →

enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略

查看更多 →

enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略

查看更多 →

enabled”的参数值是否为“true”，如果不是，修改为“true”，并单击“保存”，重启HDFS。 查看代码。 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 设置存储策略

查看更多 →

导出到 CS V文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容： CDM 支持解析的JSON类型 记录节点

查看更多 →

<locatorid3> 其中<groupid>为创建的group名称，该示例语句创建的group包含三个locator，用户可以根据需要定义locator的数量。 关于hdfs创建groupid，以及HDFS Colocation的详细介绍请参考hdfs的相关说明，这里不做赘述。 执行以下命令进入Hive客户端：

查看更多 →

<locatorid3> 其中<groupid>为创建的group名称，该示例语句创建的group包含三个locator，用户可以根据需要定义locator的数量。 关于hdfs创建groupid，以及HDFS Colocation的详细介绍请参考hdfs的相关说明，这里不做赘述。 执行以下命令进入Hive客户端：

查看更多 →

导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容： CDM支持解析的JSON类型 记录节点

查看更多 →

导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容： CDM支持解析的JSON类型 记录节点

查看更多 →

导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容： CDM支持解析的JSON类型 记录节点

查看更多 →

。 文件格式 Loader支持OBS中存储数据的文件格式，默认支持以下两种： CSV_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 最终数据的每行结束标识字符。 字段分割符 最终数据的每个字段分割标识字符。

查看更多 →

BINARY_FILE：表示文本格式以外的二进制文件。 换行符 源数据的每行结束标识字符。 说明： hdfs作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 源数据的每个字段分割标识字符。 说明： hdfs作为源连接时，当“文件格式”配置为BINA

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”，故HDFS不支持设置文件编码类型。

查看更多 →

在“Actions”区域，单击“Load”，并导入购买 弹性云服务器 时保存的私钥文件。 导入时注意确保导入的格式要求为“All files(*.*)”。 单击“Save private key”。 保存转化后的私钥到本地。例如：kp-123.ppk。 父主题： 密钥对管理类

查看更多 →

默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类型JS

查看更多 →

长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”，故HDFS不支持设置文件编码类型。

查看更多 →

检查配置文件格式 为快速检验本地配置文件的格式是否正确，可执行如下命令： hcloud configure test hcloud configure test 配置文件格式正确 父主题： 配置信息管理

查看更多 →

hoodie”文件夹中存放了对应的文件合并操作相关的日志文件。 包含_partition_key相关的路径是实际的数据文件和metadata，按分区存储。 Hudi的数据文件使用Parquet文件格式的base file和Avro格式的log file存储。 父主题： 使用Hudi

查看更多 →