如何上传本地文件至Notebook？ 如何导入大文件到Notebook中？ upload后，数据将上传到哪里？ 如何下载Notebook中的文件到本地？ 如何将开发环境Notebook A的数据复制到Notebook B中？ 在Notebook中上传文件失败，如何解决？ 动态挂载OBS并行文件系统成功，但是在N

查看更多 →

列举并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器，您上传的文件都存放在并行文件系统中。调用获取并行文件系统列表接口，可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:Li

查看更多 →

用例模式：A并发读取变量number的1，B并发接着读取变量number的2，一直按顺序循环读取。 并发模式：A并发读取一个复制的变量number（副本），从头开始读起，读取1。B并发读取一个复制的变量number（副本），从头开始读起，也读取1。 两个并发在随机模式下： 读取变量值的方

查看更多 →

修改最大文件句柄数 最大文件句柄数即打开文件数的最大限制，Linux系统中包含两个文件句柄限制：一个是系统级的，即所有用户的进程同时打开文件数的上限；一种是用户级的，即单个用户进程打开文件数的上限。但是在容器中，还有另一个文件句柄限制，即容器内部单进程最大文件句柄数。 修改节点系

查看更多 →

boolean 可选 参数解释： 并行文件系统的ACL是否向并行文件系统内对象传递，作用于并行文件系统内所有对象。 取值范围： true：是，并行文件系统ACL向并行文件系统内对象传递。 false：否，并行文件系统ACL不向并行文件系统内对象传递，仅作用于并行文件系统。 默认取值： false

查看更多 →

数据并行导入 实现原理 数据并行导入（加载）的核心思想是充分利用所有节点的计算能力和I/O能力以达到最大的导入速度。DWS的数据并行导入实现了对指定格式（支持 CS V/TEXT格式）的外部数据高速、并行入库。 所谓高速、并行入库是和传统的使用INSERT语句逐条插入的方式相比较。并行导入过程中：

查看更多 →

并行查询（PQ） 功能介绍 使用方法 性能测试 父主题： 内核功能

查看更多 →

使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制，单次可上传的最大文件为5GB，如果需要上传超过5GB的大文件，需要通过OBS服务端提供的分段上传接口实现。具体步骤为： 调用OBS服务端初始化上传段任务接口，生成分段上传ID（Upload ID）。

查看更多 →

读取parquet数据 概述 读取parquet格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path parquet数据文件所在的路径 样例 params = { "input_file_path": "" # @param {

查看更多 →

读取模板文件 功能介绍 该接口可以用于模板作者或模板维护人读取模板文件内容。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/templates/{template_id}/files

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

和删除时，具体操作结果依赖于操作到达系统的时间和系统内部处理的时延，可能返回不一致的结果。比如，当多个客户端并行上传同一个对象时，系统最后收到的上传请求会覆盖前一个上传的对象。如果需要避免同一个对象被并行访问，需要在上层应用中增加对象的锁机制。 并发操作举例 1. 当客户端2正在

查看更多 →

如何并行创建索引？ 答：参考如下方法： --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

查看更多 →

utor的并行能力去读取，从而提升执行效率。 由于权限检查在获取表元数据之后，因此当读取的parquet表包含的文件数量很多时，会在报“Missing Privileges”之前，运行一个Job来并行读取元数据信息。 父主题： SQL和DataFrame

查看更多 →

并行文件系统挂载后为何显示256T 并行文件系统容量无限制。用户在客户端上执行df -h时，为了显示需要，系统则直接返回了256TB。数值实际上无任何意义，可以使用的容量无限制。 父主题： 并行文件系统

查看更多 →

源。 文件上传：使用本地文件作为对象的数据源。 分段上传：对于较大文件上传，可以切分成段上传。 追加上传：对同一个对象追加数据内容。 断点续传上传：对分段上传的封装和加强，解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。 基于表单上传：使用HTML表单形式上传对象到指定桶中。

查看更多 →

utor的并行能力去读取，从而提升执行效率。 由于权限检查在获取表元数据之后，因此当读取的parquet表包含的文件数量很多时，会在报“Missing Privileges”之前，运行一个Job来并行读取元数据信息。 父主题： SQL和DataFrame

查看更多 →

如何导入大文件到Notebook中？ 大文件（大于100MB的文件） 针对大文件，建议使用OBS服务上传文件。使用OBS客户端，将本地文件上传至OBS桶中，然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导：上传文件。 使用ModelArts

查看更多 →

在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →