Hudi对接OBS文件系统 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件： vim 客户端安装目录/Hudi/hudi/conf/hdfs-site

查看更多 →

n）挂载。 当使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂载时，由于跨可用区/跨区域网络时延远大于同可用区，导致SFS Turbo文件系统跨可用区或者跨区域挂载访问性能大幅下降（IO时延增大数十/数百毫秒），请谨慎使用跨可用区/跨区域挂载方案。 父主题： 网络类

查看更多 →

r 运行Spark任务发现大量shuffle结果丢失 JD BCS erver长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive表失败 Spark任务提交失败 Spark任务运行失败 JDB CS erver连接失败 查看Spark任务日志失败 Spark

查看更多 →

文件系统格式化 SAP HANA主备 服务器 系统格式化 SAP S/4HANA主备服务器系统格式化 父主题： 资源创建

查看更多 →

HDFS文件系统目录简介 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark2x JDBCServer中metastore session临时文件

查看更多 →

并行文件系统 并行文件系统挂载后为何显示256T 文件列表是否支持排序？

查看更多 →

更新文件系统 功能介绍 更新文件系统冷数据淘汰时间 接口约束 该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。

查看更多 →

文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题： SFS Turbo API说明

查看更多 →

SFS Turbo文件系统 SFS Turbo存储联动 目录配额 加密传输 文件系统权限管理

查看更多 →

文件系统权限管理 概述 您可以给文件系统配置ip鉴权规则，根据不同的IP或网段授予不同的权限。 ip鉴权默认有一个（*，rw，no_root_squash）表示所有用户都有读写权限且不进行权限降级的权限，该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限

查看更多 →

说明 挂载地址 挂载对象，即要挂载的文件系统的挂载地址。设置为挂载NFS协议类型文件系统到 云服务器 （Linux）中mount命令中的挂载地址。 /local_path 挂载点，即云服务器上创建的挂载文件系统的目录。设置为挂载NFS协议类型文件系统到云服务器（Linux）中mount命令中的本地路径。

查看更多 →

obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 父主题：

查看更多 →

文件系统指标及其维度 表1 文件系统指标 指标名称 指标含义 取值范围 单位 可用磁盘空间（aom_node_disk_available_capacity_megabytes） 还未经使用的磁盘空间。 ≥0 兆字节（MB） 磁盘空间容量（aom_node_disk_capacity_megabytes）

查看更多 →

retKey，可使用全局变量，屏蔽敏感信息。 关于全局变量在控制台上的使用方法，请参考《 数据湖探索 用户指南》。 krb_auth 否 创建跨源认证的认证名。开启kerberos认证时，需配置该参数。如果创建的 MRS 集群未开启kerb认证的集群，请确保在 DLI 队列host文件中添加

查看更多 →

通用文件系统快速入门 创建文件系统 获取文件系统列表

查看更多 →

retKey，可使用全局变量，屏蔽敏感信息。 关于全局变量在控制台上的使用方法，请参考《 数据湖 探索用户指南》。 krb_auth 否 创建跨源认证的认证名。开启kerberos认证时，需配置该参数。如果创建的MRS集群未开启kerb认证的集群，请确保在DLI队列host文件中添加

查看更多 →

Hive服务。 进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 beeline 例如，创建一个表“test”，该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”： create table

查看更多 →

并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 调整并行文件系统配额 创建并行文件系统

查看更多 →

创建SFS Turbo文件系统 登录华为云弹性文件服务控制台，选择“SFS Turbo”，单击“创建文件系统”，进入“创建文件系统”界面。 在“创建文件系统”界面填写如下参数： 计费模式：根据实际情况选择，推荐按需计费。 区域：请选择“华东-上海一”，当前Stable-Diffusion应用仅支持上海一部署。

查看更多 →

创建并挂载文件系统 操作场景 在创建完逻辑卷之后，需要在逻辑卷之上创建文件系统并挂载文件系统到相应目录下。本章节指导您在逻辑卷之上创建“ext4”文件系统并挂载文件系统到“/Data1”目录下。 操作步骤 以root用户登录 弹性云服务器 。 执行如下命令，创建文件系统。 mkfs.文件格式

查看更多 →

SFS Turbo文件系统的列表。 count Integer SFS Turbo文件系统的数量。 表5 ShareInfo 参数 参数类型 描述 action_progress ActionProgress object SFS Turbo文件系统的创建任务进度。文件系统正在创建时，返回该字段；否则不返回。

查看更多 →