在ModelArts中，用户的数据都是存放在OBS桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据复制至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“jso

查看更多 →

配置FTP/SFTP增量读取最佳实践 概述 FTP/SFTP增量抽取是指通过设置特定的时间范围（如文件修改时间、创建时间或文件名中的时间标识），从FTP/SFTP 服务器 中仅抽取指定时间段内新增或变更的文件，以实现数据的周期性同步。这种策略特别适用于需要定期将FTP/SFTP服务器中

查看更多 →

content String 文件内容（返回的文件内容为encoding指定的编码格式编码后的内容）。 encoding String 内容编码格式(固定base64)。 file_name String 文件名。 file_path String 文件相对路径。 file_type

查看更多 →

"4"。其中，分隔符是是任意的字符串。 在拥有get_result功能之后，如果需要实现根据上一步的结果，动态并发执行任务，则可以通过如下方式完成： 图2 动态并发执行任务 这样可以通过执行自己熟悉的shell命令，读取某个文件内容，或者列出目录中特定的文件，来得到想要的并发行为。 示例 job-list:

查看更多 →

错误id，用于转换。 code int 32位整数 错误码，跟错误id对应，具体含义参考错误码。 param Object param 对象 失败响应的附带参数。 父主题： 硬终端开放性

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

参数解释： 文件id。调用上传文件至文件盒子接口时，返回体中的id即为上传成功的文件id。如果是在AI原生应用引擎页面中上传的文件，则可查看 开发者工具 ，在页面中单击Agent名称查看详情，在detail接口的响应中查看"file_infos"字段中的"id"，即为文件id。 约束限制：

查看更多 →

填写连接器的描述信息，用于识别不同的连接器。 协议 选择FTP连接所使用的协议，当前支持选择“FTP”和“SFTP”。 主机IP FTP服务器的IP地址。 端口 FTP协议中，默认使用TCP端口中的20和21两个端口，其中20端口用于传输数据，21端口用于传输控制信息（命令）。 用户名 FTP用户名。 密码

查看更多 →

当协议选择“FTP”时需要配置。 是否开启被动模式。 被动模式用于解决因防火墙或路由器导致的FTP连接失败问题（服务器需支持被动模式）。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 监听目录 配置参数 参数 说明 目录路径 填写FTP服务器下文件的相对路径。 下一次目录轮询的时间间隔（毫秒）

查看更多 →

是否递归搜索子目录中的文件。 是 否 表3 获取文件内容 参数 说明 路径 目录的相对路径。如果当前FTP连接使用的用户主目录为/home/ftpuser，目录路径为/home/ftpuser/data，则此处填写/data。 文件名 需要获取的文件名。 表4 拷贝文件 参数 说明 路径

查看更多 →

jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的路径作为参数传给Executor去执行。

查看更多 →

FS上的文件所在的父目录，非集群节点上的软连接），必须允许yarn_user可以访问，否则程序中无法获取文件内容。当集群为启用Kerberos认证的集群时，则文件的权限必须允许提交程序的用户访问。 处理步骤 以root用户登录集群的Master节点。 执行如下命令查看用户自定义配置文件所在父目录的权限。

查看更多 →

exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出现异

查看更多 →

指定角色或用户组：仅指定的角色或用户组的成员才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的角色或用户组。 指定用户：仅指定的用户才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的用户。 权限：选择经过授权的用户的“读取”和“写入”权限。 绑定 弹性云服务器 的私网IP。

查看更多 →

本地Linux主机使用FTP上传文件到Linux云服务器 操作场景 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务，将文件从本地上传到云服务器中。 前提条件 已在待上传文件的云服务器中搭建 FTP 服务。 云服务器已绑定弹性公网IP，且安全组入方向开启TCP协议的21端口。 已在待上传文件的云服务器中搭建

查看更多 →

指定角色或用户组：仅指定的角色或用户组的成员才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的角色或用户组。 指定用户：仅指定的用户才能访问相应内容。如果选择此项，需要在下面输入框中输入指定的用户。 权限：选择经过授权的用户的“读取”和“写入”权限。 绑定弹性云服务器的私网IP。

查看更多 →

数据量小 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。

查看更多 →

单击“我的空间”，在 交换数据空间 实例中，选择实例，单击实例卡片上的“连接器”。 选择连接器，单击连接器卡片上的“前往”，进入连接器控制台界面。 选择界面左侧导航栏中的“连接器管理 > 数据源管理”，进入“数据源管理”界面。 单击数据源列表上方“新增数据源”，进入“新增数据源”界面，设置FTP数据源的基本信息，具体参数如表1所示。

查看更多 →