，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据复制至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”文件、读取“npy”文件、使用cv2库

查看更多 →

描述 file_path 是 String 文件相对路径，基于当前根目录的相对文件路径，例如获取HELP.md文件内容，则文件相对路径为“template-resources/file/HELP.md”。 type 否 String 读取文件来源，缺省值为“source-pachage”。

查看更多 →

在拥有get_result功能之后，如果需要实现根据上一步的结果，动态并发执行任务，则可以通过如下方式完成： 图2 动态并发执行任务 这样可以通过执行自己熟悉的shell命令，读取某个文件内容，或者列出目录中特定的文件，来得到想要的并发行为。 示例 job-list: type: G CS .Job

查看更多 →

在拥有get_result功能之后，如果需要实现根据上一步的结果，动态并发执行任务，则可以通过如下方式完成： 图2 动态并发执行任务 这样可以通过执行自己熟悉的shell命令，读取某个文件内容，或者列出目录中特定的文件，来得到想要的并发行为。 示例 job-list: type: GCS.Job

查看更多 →

读取配置文件 接口名称 WEB_ConfigFileProcessAPI(后续废弃) 功能描述 读取配置文件 应用场景 读取配置文件 URL https://ip/action.cgi?ActionID=WEB_ConfigFileProcessAPI 参数 无 返回值 表1 读取配置文件返回值

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

作为参数传给Executor去执行。 Executor获取文件路径的时候，仍然需要使用SparkFiles.get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。 图1 添加其他依赖文件 代码段如下所示 package main

查看更多 →

exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出现异

查看更多 →

系统提示信息。 执行成功时，字段可能为空。 执行失败时，用于显示错误信息。 errorCode String 系统提示信息。 执行成功时，字段可能为空。 执行失败时，用于显示错误码。 jobId String 执行该异步任务的jobId。 可以查询jobId查看任务执行状态、获取返回结果，详情参考Job管理API。

查看更多 →

按文件更新/删除数据 代码样例文件路径 代码样例文件名 对应的API com.huawei.ges.graph.sdk.v1.examples.fileoperation ImportPropertiesSample 通过导入文件更新点边的指定属性 DeleteByFileSample

查看更多 →

的配置文件，导致业务程序启动失败。 原因分析 该问题的根因是NFS盘上的根目录权限不足，导致Flink程序启动后无法访问该目录。 MRS 的Flink任务是在YARN运行，当集群未启用Kerberos认证时，在YARN上运行任务的用户为yarn_user。用户自定义的配置文件如果在

查看更多 →

/opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通集群跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令，获取consumer

查看更多 →

新在该实例上进行创建。 新实例创建成功后，系统会自动执行一次全量备份。 恢复到当前实例 在“实例管理”页面，可查看目标实例状态为“恢复中”，恢复完成后，实例状态由“恢复中”变为“正常”。如果目标实例下存在只读实例，只读实例的状态与目标实例一致。 恢复成功后，会执行一次全量备份。 恢复到已有实例

查看更多 →

新在该实例上进行创建。 新实例创建成功后，系统会自动执行一次全量备份。 恢复到当前实例 在“实例管理”页面，可查看目标实例状态为“恢复中”，恢复完成后，实例状态由“恢复中”变为“正常”。如果目标实例下存在只读实例，只读实例的状态与目标实例一致。 恢复成功后，会执行一次全量备份。 恢复到已有实例

查看更多 →

资源按账期账单文件格式介绍 账单文件说明 客户订阅“资源按账期账单”后，可以从“服务列表 > 存储 > 对象存储服务 ”中进行下载并查看。 下载账单的操作请参见如何下载订阅的账单。 资源按账期账单数据来源为“费用中心 > 账单管理 > 流水与明细账单 > 明细账单”页面。 客户从对象存储服务中选中对应的日期文件夹。

查看更多 →

新在该实例上进行创建。 新实例创建成功后，系统会自动执行一次全量备份。 恢复到当前实例 在“实例管理”页面，可查看目标实例状态为“恢复中”，恢复完成后，实例状态由“恢复中”变为“正常”。如果目标实例下存在只读实例，只读实例的状态与目标实例一致。 恢复成功后，会执行一次全量备份。 恢复到已有实例

查看更多 →

4096B。总共有三种大小：1024B、2048B、4096B） 创建文件越快，越容易触发（机制大概是：有一个缓存，这块大小和上面的1和2有关，目录下文件数量比较大时会启动，使用方式是边用边释放） 处理方法 可以参照日志提示"write line error"文档进行修复。 如果是分布式作业有的节点有错误，有

查看更多 →

使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't

查看更多 →