公网环境下如何提高上传大文件速度？ 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段，可大大提高传输效率。

查看更多 →

通过外表并行导入 关于并行导入 教程和最佳实践 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理错误表 停止GDS 示例 父主题： 导入数据

查看更多 →

使用外表并行导出 关于并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS 示例 父主题： 导出数据

查看更多 →

并行处理算子 并行处理算子可以同时执行多个分支逻辑，分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时，配置API工作流的失败策略。 任一分支失败则终止：表示当并行分支中存在失败情况时，则此API工作流置为失败状态，不再继续执行。 分支失败继续

查看更多 →

合理设置并行度 任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度可能导致部分节点运行缓慢。对于SQL当前不能手动指定每个Task的并行度，指定的是所有Task统一的并行度。 推荐Source的并行度由上游

查看更多 →

务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。

查看更多 →

参数类型 是否必选 描述 Bucket string 必选 参数解释： 并行文件系统名。 约束限制： 并行文件系统的名字需全局唯一，不能与已有的任何并行文件系统名称重复，包括其他用户创建的并行文件系统。 并行文件系统命名规则如下： 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“

查看更多 →

并行文件系统是否支持挂载到Windows 服务器 ？ 并行文件系统当前仅支持通过obsfs挂载至 Linux服务器 ，暂不支持挂载至Windows服务器。 父主题： 工具相关

查看更多 →

用户可以通过以下几种方式使用并行文件系统。 OBS桶的权限管理规则及权限要求同样适用于并行文件系统，用户在使用并行文件系统前需要确保具备OBS资源的访问权限。 表1 使用方式 方式 主要功能 相关链接 并行文件系统控制台 您可以在控制台创建并行文件系统，并进行查看、管理等基本操作。 创建并行文件系统

查看更多 →

优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据，CarbonData根据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation

查看更多 →

优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据，CarbonData根据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation

查看更多 →

用户可以通过以下几种方式使用并行文件系统。 OBS桶的权限管理规则及权限要求同样适用于并行文件系统，用户在使用并行文件系统前需要确保具备OBS资源的访问权限。 表1 使用方式 方式 主要功能 相关链接 并行文件系统控制台 您可以在控制台创建并行文件系统，并进行查看、管理等基本操作。 创建并行文件系统

查看更多 →

实时数据处理 实时收集城市各交通枢纽的车辆通行数据，缓存在通道中，分析平台周期读取通道中的数据分析后将结果应用到调度系统，实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户

查看更多 →

读取输出口显示内容 接口名称 WEB_GetVideoOutSourceAPI 功能描述 读取输出口显示内容时调用该接口。 应用场景 读取输出口显示内容。 URL https://ip/action.cgi?ActionID=WEB_GetVideoOutSourceAPI 参数

查看更多 →

训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： 训练作业

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

使用Scan读取HBase数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

配置Hive读取Hudi表 Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS的数据，通过Spark组件、Flink组件或者Hudi客户端，可以将Hudi表的数据映射为Hive外部表，基于该外部表，Hive可以方便地进行实时视图查询、读优化视图查询以及增量视图查询。

查看更多 →

上传可实现并行上传多个分块以加快上传速度。如果分块上传过程中某一分块上传失败，再次上传时会从系统记录的点继续上传，从而达到断点续传的效果。如果系统已存在某个文件，后续再上传该文件时，系统会根据文件的唯一哈希值直接复制文件，无需重新上传文件，即可快速完成上传任务。 操作流程 表1 基线管理操作流程

查看更多 →