桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据拷贝至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”文件、读取“npy”文件、使用cv2库读取文件和在MXNet环境下使用torch包。 读取文件报错，

查看更多 →

描述 file_path 是 String 文件相对路径，基于当前根目录的相对文件路径，例如获取HELP.md文件内容，则文件相对路径为“template-resources/file/HELP.md”。 type 否 String 读取文件来源，缺省值为“source-pachage”。

查看更多 →

读取文件控制并发 在基因数据处理流程中，经常需要读取某个文件的内容来控制并发任务，或者获取另一个步骤的“输出结果”来控制并发任务。如，把样本文件按照固定大小进行拆分之后，需要得到所有的拆分文件名集合。或者上一步是分布式处理的，需要得到结果的总和。 图1 读取文件控制并发 这种情况

查看更多 →

读取文件控制并发 在基因数据处理流程中，经常需要读取某个文件的内容来控制并发任务，或者获取另一个步骤的“输出结果”来控制并发任务。如，把样本文件按照固定大小进行拆分之后，需要得到所有的拆分文件名集合。或者上一步是分布式处理的，需要得到结果的总和。 图1 读取文件控制并发 这种情况

查看更多 →

读取配置文件 接口名称 WEB_ConfigFileProcessAPI(后续废弃) 功能描述 读取配置文件 应用场景 读取配置文件 URL https://ip/action.cgi?ActionID=WEB_ConfigFileProcessAPI 参数 无 返回值 表1 读取配置文件返回值

查看更多 →

日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志，可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志： 工具日志（记录工具在运行期间产生的日志信息）：配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

执行如下命令，清空“/var/log”目录的日志文件： rm -rf /var/log/* 删除日志前，请备份需要的应用日志目录及日志文件，防止应用没有日志目录导致启动失败。例如，nginx日志默认路径为/var/log/nginx，若删除了此目录，可能导致nginx应用启动失败。 执行如下命令，清空历史记录： echo

查看更多 →

g.zip为归档文件名将日志归档到该新建的文件夹下； 如果file_or_folder_url不存在，且不以“/”或“\”结尾，则以该值作为归档文件名，将日志归档到本地； 如果file_or_folder_url为已存在的zip文件，则以该值作为归档文件名，将日志覆盖归档到本地；

查看更多 →

查看日志文件 您可快速查看组件实例或主机的日志文件，以便定位问题。 查看日志文件 登录AOM 2.0控制台。 在左侧导航栏中选择“日志分析 > 日志文件”。 使用日志分析（新版）功能的区域可以通过表2中描述的入口进入“日志文件”页面。 在“日志文件”页面选择“组件”或“主机”页签

查看更多 →

查看日志文件 您可快速查看组件实例的日志文件，以便定位问题。 查看日志文件 在左侧导航栏中选择“日志 > 日志文件”。 在“日志文件”页面选择“组件”或“主机”页签并单击名称，在页面右侧的日志文件列表中即可查看其实例的日志文件名称、最新写入时间。 单击该实例“操作”列的“查看”，

查看更多 →

exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

是 Object 边ID属性信息，JsonArray格式。当前仅支持一个属性。 导入文件更新属性的csv文件格式如下： 点文件：点ID。 边文件（不包含label）：源点ID,目的点ID。 边文件（包含label）：源点ID,目的点ID,label,边ID属性。 响应参数 表4 响应Body参数说明

查看更多 →

合理配置日志文件 查看错误日志是定位问题的重要手段，需要合理规划日志输出，并且尽可能降低对系统性能的影响。规划日志文件有如下建议： 使用log4j2或者logback输出日志。 将日志输出到文件，不要依赖于容器的stdout。 打开metrics日志，将metrics日志输出到独立的文件，比如“metrics

查看更多 →

采集应用运行时的日志数据。 部署并预热应用后，即可使用llvm-bolt -instrument -o -instrumentation-file命令配置应用的日志采集方式。 例如，配置test.so文件运行后每隔30秒收集一次日志，日志保存到运行时test.log文件中请使用如下命令。

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要 DLI 与MySQL建立增强型跨

查看更多 →