配置HDFS源端参数 作业中源连接为HDFS连接时，即从 MRS HDFS、 FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不

查看更多 →

配置HDFS常用参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.

查看更多 →

图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 更多关于图片处理的内容，参见图片处理特性指南。 以下代码展示了如何使用下载对象接口实现图片处理： // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确

查看更多 →

HDFS初始化 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。

查看更多 →

图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 更多关于图片处理的内容，参见图片处理特性指南。 以下代码展示了如何使用下载对象接口实现图片处理： // 引入obs库 // 使用npm安装 var ObsClient = require('esdk-obs-nodejs');

查看更多 →

创建图片 功能介绍 上传图片文件创建背景图片、Logo图片。 URI POST https://{endpoint}/v1/{project_id}/digital-human/images 表1 路径参数 参数 是否必选 参数类型 描述 endpoint 是 String 终端节点，即调用API的请求地址。

查看更多 →

HDFS初始化 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。

查看更多 →

提取图片中的图片暗水印 功能介绍 对已嵌入图片暗水印的图片进行水印提取，用户以formData的格式传入待提取水印的图片，DSC服务以图片二进制流的格式返回从图片里提取的出的图片暗水印。目前支持的图片格式为：*.jpg, *.jpeg, *.jpe, *.png, *.bmp, *

查看更多 →

图片处理支持哪些格式的图片？ 支持的原图格式有：jpg、jpeg、png、bmp、webp、gif、tiff。支持格式转化处理后的目标格式有：jpg、png、bmp、webp。 父主题： 常见问题

查看更多 →

个SFTP 服务器 操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22

查看更多 →

个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22

查看更多 →

个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22

查看更多 →

个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22

查看更多 →

集群HDFS文件接口 获取指定目录文件列表 父主题： API V2

查看更多 →

配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

得到FileSystem对象 进行文件操作 } HDFS初始化方法 HDFS初始化是指在使用HDFS提供的API之前，需要做的必要工作。 大致过程为：加载HDFS服务配置文件，并进行Kerberos安全认证，认证通过后再实例化Filesystem，之后使用HDFS的API。此处Kerberos安

查看更多 →

HDFS应用开发建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加，不能随机添加。 只有存储在HDFS文件系统中的数据才支持append，edit.log以及数据元文件不支持Append。Append追加文件时，需要将“hdfs-site

查看更多 →

配置HDFS目录权限 操作场景 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 操作步骤 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

为什么主NameNode重启后系统出现双备现象 HDFS执行Balance时被异常停止，再次执行Balance会失败 IE浏览器访问HDFS原生UI界面失败，显示无法显示此页 EditLog不连续导致NameNode启动失败 父主题： 使用HDFS

查看更多 →

配置HDFS目录权限 操作场景 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 操作步骤 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →