在ModelArts中，用户的数据都是存放在OBS桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据拷贝至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“jso

查看更多 →

content String 文件内容（返回的文件内容为encoding指定的编码格式编码后的内容）。 encoding String 内容编码格式(固定base64)。 file_name String 文件名。 file_path String 文件相对路径。 file_type

查看更多 →

"4"。其中，分隔符是是任意的字符串。 在拥有get_result功能之后，如果需要实现根据上一步的结果，动态并发执行任务，则可以通过如下方式完成： 图2 动态并发执行任务 这样可以通过执行自己熟悉的shell命令，读取某个文件内容，或者列出目录中特定的文件，来得到想要的并发行为。 示例 job-list:

查看更多 →

"4"。其中，分隔符是是任意的字符串。 在拥有get_result功能之后，如果需要实现根据上一步的结果，动态并发执行任务，则可以通过如下方式完成： 图2 动态并发执行任务 这样可以通过执行自己熟悉的shell命令，读取某个文件内容，或者列出目录中特定的文件，来得到想要的并发行为。 示例 job-list:

查看更多 →

错误id，用于转换。 code int 32位整数 错误码，跟错误id对应，具体含义参考错误码。 param Object param 对象 失败响应的附带参数。 父主题： 硬终端开放性

查看更多 →

填写连接器的描述信息，用于识别不同的连接器。 协议 选择FTP连接所使用的协议，当前支持选择“FTP”和“SFTP”。 主机IP FTP 服务器 的IP地址。 端口 FTP协议中，默认使用TCP端口中的20和21两个端口，其中20端口用于传输数据，21端口用于传输控制信息（命令）。 用户名 FTP用户名。 密码

查看更多 →

协议 选择FTP连接所使用的协议，当前支持选择“FTP”和“SFTP”。 主机IP FTP服务器的IP地址。 端口 FTP协议中，默认使用TCP端口中的20和21两个端口，其中20端口用于传输数据，21端口用于传输控制信息（命令）。 用户名 FTP用户名。 密码 FTP用户密码。

查看更多 →

填写连接器的描述信息，用于识别不同的连接器。 支持的动作 写入文件 配置参数 参数 说明 目录路径 填写FTP服务器下文件的相对路径。 文件名 填写需要写入的文件名。 写入内容 填写需要写入的内容。 写入策略 选择需要写入的策略 覆写：覆盖同名文件内容; 追加：在同名文件末尾追加内容;

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

指定角色或用户组：仅指定的角色或用户组的成员才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的角色或用户组。 指定用户：仅指定的用户才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的用户。 权限：选择经过授权的用户的“读取”和“写入”权限。 绑定 弹性云服务器 的私网IP。

查看更多 →

jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的路径作为参数传给Executor去执行。

查看更多 →

之后使用，则文件以及文件的父目录（NFS上的文件所在的父目录，非集群节点上的软连接），必须允许yarn_user可以访问，否则程序中无法获取文件内容。当集群为启用Kerberos认证的集群时，则文件的权限必须允许提交程序的用户访问。 处理步骤 以root用户登录集群的Master节点。

查看更多 →

exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出现异

查看更多 →

数据量小 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。

查看更多 →

指定角色或用户组：仅指定的角色或用户组的成员才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的角色或用户组。 指定用户：仅指定的用户才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的用户。 权限：选择经过授权的用户的“读取”和“写入”权限。 绑定弹性云服务器的私网IP。

查看更多 →

单击“我的空间”，在 交换数据空间 实例中，选择实例，单击实例卡片上的“连接器”。 然后选择连接器，单击连接器卡片上的“前往”，进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”，单击数据源列表上方“接入数据源”，进入“接入数据源”界面，设置FTP数据源的基本信息，具体参数如表1所示。 表1 参数说明

查看更多 →

数据量小 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。

查看更多 →

本地Linux主机使用FTP上传文件到Linux 云服务器 操作场景 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务，将文件从本地上传到云服务器中。 前提条件 已在待上传文件的云服务器中搭建 FTP 服务。 云服务器已绑定弹性公网IP，且安全组入方向开启TCP协议的21端口。 已在待上传文件的云服务器中搭建

查看更多 →