boolean 可选 参数解释： 并行文件系统的ACL是否向并行文件系统内对象传递，作用于并行文件系统内所有对象。 取值范围： true：是，并行文件系统ACL向并行文件系统内对象传递。 false：否，并行文件系统ACL不向并行文件系统内对象传递，仅作用于并行文件系统。 默认取值： false

查看更多 →

目前，提供的MoXing Framework功能中主要包含操作OBS组件，即下文中描述的mox.file接口。 Moxing主要使用场景为提升从OBS读取和下载数据的易用性，适配对象为OBS对象桶，对于OBS并行文件系统部分接口可能存在问题，不建议使用。生产业务代码开发建议直接调用OBS

查看更多 →

和删除时，具体操作结果依赖于操作到达系统的时间和系统内部处理的时延，可能返回不一致的结果。比如，当多个客户端并行上传同一个对象时，系统最后收到的上传请求会覆盖前一个上传的对象。如果需要避免同一个对象被并行访问，需要在上层应用中增加对象的锁机制。 并发操作举例 1. 当客户端2正在

查看更多 →

如何上传本地文件至Notebook？ 如何导入大文件到Notebook中？ upload后，数据将上传到哪里？ 如何下载Notebook中的文件到本地？ 如何将开发环境Notebook A的数据复制到Notebook B中？ 在Notebook中上传文件失败，如何解决？ 动态挂载OBS并行文件系统成功，但是在N

查看更多 →

务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。

查看更多 →

由于总内存限制，导致未能执行并行执行的查询总数。 开启并行查询 支持通过设置系统参数和使用HINT语法两种方式，开启或关闭并行查询。 方法一：通过设置系统参数开启或关闭并行查询 在管理控制台的参数修改页面，通过设置系统参数，开启和关闭并行查询，并设置并行度。 通过全局参数“forc

查看更多 →

并行查询（PQ） 并行查询简介 注意事项 开启并行查询 验证并行查询效果 父主题： 常见内核功能

查看更多 →

使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制，单次可上传的最大文件为5GB，如果需要上传超过5GB的大文件，需要通过OBS服务端提供的分段上传接口实现。具体步骤为： 调用OBS服务端初始化上传段任务接口，生成分段上传ID（Upload ID）。

查看更多 →

很多，如果每一次访问文件数据都要从磁盘读取数据，就会导致非常严重的时延及等待问题，因此Linux为了提高读取性能，通过预读机制，将文件数据提前预读缓存到内存中，从而大大加快读取性能。参数“read_ahead_kb”为操作系统读业务可提前读取的最大KB数。 在Linux内核5.4

查看更多 →

SMP并行执行 在复杂查询场景中，单个查询的执行较长，系统并发度低，通过SMP并行执行技术实现算子级的并行，能够有效减少查询执行时间，提升查询性能及资源利用率。 通过算子并行来提升性能，同时会占用更多的系统资源，包括CPU、内存、网络、I/O等等。本质上SMP是一种以资源换取时间

查看更多 →

验证并行查询效果 本章节使用TPCH测试工具测试并行查询对22条QUERY的性能提升情况。 测试的实例信息如下： 实例规格：32 vCPUs | 256 GB 内核版本：2.0.26.1 并行线程数：16 测试数据量：100GB 操作步骤 生成测试数据。 请在https://github

查看更多 →

如何导入大文件到Notebook中？ 大文件（大于100MB的文件） 针对大文件，建议使用OBS服务上传文件。使用OBS客户端，将本地文件上传至OBS桶中，然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导：上传文件。 使用ModelArts

查看更多 →

并行文件系统挂载后，为何显示256T？ 并行文件系统容量无限制。 用户在客户端上执行“df -h”时，为了显示需要，系统则直接返回了256TB。数值实际上无任何意义，可以使用的容量无限制。 父主题： 并行文件系统

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

用例模式：A并发读取变量number的1，B并发接着读取变量number的2，一直按顺序循环读取。 并发模式：A并发读取一个复制的变量number（副本），从头开始读起，读取1。B并发读取一个复制的变量number（副本），从头开始读起，也读取1。 两个并发在随机模式下： 读取变量值的方

查看更多 →

读取模板文件 功能介绍 该接口可以用于模板作者或模板维护人读取模板文件内容。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/templates/{template_id}/files

查看更多 →

源。 文件上传：使用本地文件作为对象的数据源。 分段上传：对于较大文件上传，可以切分成段上传。 追加上传：对同一个对象追加数据内容。 断点续传上传：对分段上传的封装和加强，解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。 基于表单上传：使用HTML表单形式上传对象到指定桶中。

查看更多 →

在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

utor的并行能力去读取，从而提升执行效率。 由于权限检查在获取表元数据之后，因此当读取的parquet表包含的文件数量很多时，会在报“Missing Privileges”之前，运行一个Job来并行读取元数据信息。 父主题： SQL和DataFrame

查看更多 →