优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

景。 极速文件存储性能 关于极速文件存储的性能参数，请参考文件系统类型。 使用场景 极速文件存储支持以下挂载方式： 通过静态存储卷使用已有极速文件存储：即静态创建的方式，需要先使用已有的文件存储创建PV，然后通过PVC在工作负载中挂载存储。 SFS Turbo动态创建子目录并挂载：SFS

查看更多 →

删除分区少于一千个后，直接用drop table ${TableName}删掉表即可。 建议与总结 Hive分区虽然可以提高查询效率，但要避免分区不合理导致出现大量小文件的问题，要提前规划好分区策略。 父主题： 使用Hive

查看更多 →

为了确保整个公司的报告具有一致的准确性， 数据仓库 采用一种高度结构化的方式来存储数据。这种结构可将数据一致性规则直接构建到数据库的表中。同时对标准SQL，事务支持传统数据库语法有很好的兼容性。 当您需要对大量结构化数据执行复杂查询并获得超快性能时， GaussDB (DWS)就是理想的服务选择。

查看更多 →

源端集群版本 目的端集群版本（以 MRS 集群版本为准） 说明 HDFS/OBS（或其他文件存储系统） Hadoop 2.8.3 Hadoop 3.3.1 - Hive 1.2.1 2.3.3 存储元数据的数据库：MySQL HBase 1.3.1 1.3.1 - Spark 2.2.2

查看更多 →

、企业办公等场景。 极速文件存储性能 关于极速文件存储的性能参数，请参考文件系统类型。 使用场景 极速文件存储支持以下挂载方式： 通过静态存储卷使用已有极速文件存储：即静态创建的方式，需要先使用已有的文件存储创建PV，然后通过PVC在工作负载中挂载存储。 通过StorageClass动态创建SFS

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

容器中挂载存储 容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，详情如表1所示。 容器存储的基础知识了解请参见存储基础知识，有助您理解本章节内容。 表1 容器挂载存储的方式及差异 容器挂载存储的方式 使用场景 特点 挂载操作参考 EmptyDir 适用于训练缓存场景。

查看更多 →

图片渲染：图像处理、三维渲染，频繁处理小文件，要求文件系统数据读写性能强、容量大、高带宽。 异构计算：这种以不同类型的指令集和体系架构的计算单元为组成的系统计算方式要求文件系统高带宽、低时延。 弹性文件服务是基于文件系统的共享存储服务，具有高速数据共享，动态分级存储，按需平滑扩展，支持在线扩

查看更多 →

描述 bucket 必选 桶名。 sc 附加参数，可选 桶的默认存储类型。支持的值： standard：标准存储，访问时延低、吞吐量高，适用于有大量热点文件（平均一个月多次）或小文件（小于1MB）。 warm：低频访问存储，可用性略低于standard，适用于不频繁访问（平均一年少于

查看更多 →

5版本有哪些优势？ 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。

查看更多 →

易用的数据共享。 视频渲染、特效加工需要频繁处理小文件，要求文件系统具有较高的数据读写性能。 弹性文件服务是基于文件系统的共享存储服务，具有高速数据共享，动态分级存储，按需平滑扩展，支持在线扩容等特点，能充分满足媒体处理中用户对存储容量，吞吐量，IOPS（每秒读写次数）和各种工作负荷下低时延的需求。

查看更多 →

优化扩缩容逻辑，解决V1作业管理接口tcp连接残留问题 MRS 大数据组件 MRS Hive 解决hiveserver内存溢出问题、存在大量小文件的情况下，MergeFile阶段非常慢问题、insert overwrite的load partition阶段出现找不到文件问题、HIV

查看更多 →

存储组 存储组可以将多个存储按照相同的数据保存策略（数据保存时间）统一管理。一个存储组内可以包含多个存储，一个存储只能属于一个存储组并且不可修改为别的存储组。 IoT数据分析服务共享版限制每个租户只有1个存储组，即为默认存储组。 修改数据保存时间 父主题： 存储管理

查看更多 →

存储管理 IoT数据分析服务的存储管理统一展示了 IoT 数据分析服务上所有保存数据的存储，包括资产模型存储和由数据管道创建的存储，并支持对这些存储中的数据配置保存时间。 存储 存储组

查看更多 →

删除存储 功能介绍 删除存储 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/data-stores/{data_store_id}

查看更多 →

nfs-rw：标准文件协议类型文件存储卷 efs-performance：性能型极速文件存储卷 efs-standard：标准型极速文件存储卷 obs：对象存储卷 回收策略采用 DELETE，即PVC被删除后，立即删除存储。如果需要保留存储，可使用解绑存储接口。 OBS对象存储包含“对象桶”和“

查看更多 →

用户申请存储后，如果不再使用该存储，可以进行退订。退订成功后，会清除所有存储数据信息。请用户提前确认是否需要进行退订。系统弹出“费用中心”页面。系统弹出“退订管理”页面。系统弹出“退订资源”页面。

查看更多 →

当存储容量不足，不能满足当前使用要求时，您可以对存储进行扩容。专属企业存储类型扩容相关说明，请参考下表所示。新增后的总容量需要小于等于100TB。提交订单后，您可以单击管理控制台主页面右上角“费用 > 我的订单”，单击订单“详情”可查看订单状态。存储扩容订单状态说明请参考表2。

查看更多 →

用户申请存储后，如果不再使用该存储，可以进行退订。退订成功后，会清除所有存储数据信息。请用户提前确认是否需要进行退订。系统弹出“费用中心”页面。系统弹出“退订管理”页面。系统弹出“退订资源”页面。

查看更多 →

存储池 权限 对应的API接口 授权项（Action） 依赖的授权项 企业项目 (Enterprise Project) 查询存储池列表 GET /v1/{domain_id}/storage-pools ies:storagePool:list - √ 查询存储池详情 GET

查看更多 →