SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JD BCS erver模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT

查看更多 →

源端集群版本 目的端集群版本（以 MRS 集群版本为准） 说明 HDFS/OBS（或其他文件存储系统） Hadoop 2.8.3 Hadoop 3.3.1 - Hive 1.2.1 2.3.3 存储元数据的数据库：MySQL HBase 1.3.1 1.3.1 - Spark 2.2.2

查看更多 →

SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDB CS erver模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT

查看更多 →

容器中挂载存储 容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，详情如表1所示。 容器存储的基础知识了解请参见存储基础知识，有助您理解本章节内容。 表1 容器挂载存储的方式及差异 容器挂载存储的方式 使用场景 特点 挂载操作参考 EmptyDir 适用于训练缓存场景。

查看更多 →

5版本有哪些优势？ 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。

查看更多 →

几种不同类型的归档，区别是什么？ 标准存储 标准存储访问时延低和吞吐量高，因而适用于有大量热点文件（平均一个月多次）或小文件（小于1MB），且需要频繁访问数据的业务场景。 适合高性能，高可靠，高可用，频繁访问场景。 归档存储 归档存储适用于很少访问（平均一年访问一次）数据的业务场

查看更多 →

解决Hive union语句合并小文件报错问题 解决Hadoop的task任务报空间不足失败问题 解决hive作业成功无数据生成问题 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.9.2.2补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kaf

查看更多 →

不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。

查看更多 →

不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。

查看更多 →

存储组 存储组可以将多个存储按照相同的数据保存策略（数据保存时间）统一管理。一个存储组内可以包含多个存储，一个存储只能属于一个存储组并且不可修改为别的存储组。 IoT数据分析服务共享版限制每个租户只有1个存储组，即为默认存储组。 修改数据保存时间 父主题： 存储管理

查看更多 →

存储管理 IoT数据分析服务的存储管理统一展示了 IoT 数据分析服务上所有保存数据的存储，包括资产模型存储和由数据管道创建的存储，并支持对这些存储中的数据配置保存时间。 存储 存储组

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

删除存储 功能介绍 删除存储 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/data-stores/{data_store_id}

查看更多 →

nfs-rw：标准文件协议类型文件存储卷 efs-performance：性能型极速文件存储卷 efs-standard：标准型极速文件存储卷 obs：对象存储卷 回收策略采用 DELETE，即PVC被删除后，立即删除存储。如果需要保留存储，可使用解绑存储接口。 OBS对象存储包含“对象桶”和“

查看更多 →

Filesystem 使用华为云存储，需要CCE集群中预先安装everest插件。 上述资源可通过Go语言在Reconcile协调逻辑中实现，具体请参见Kubernetes API Reference。 更多类型的存储可参见云容器引擎CCE：存储管理。 父主题： Operator代码示例

查看更多 →

云存储 获取云存储列表 授权云存储 解绑云存储 父主题： CAE API

查看更多 →

存储费用 在使用对象存储服务时，按实际使用的存储容量、存储类型和时长收费。在使用不同存储类别的桶存储不同存储类别的对象文件时，收取的计费项有所不同。具体计费说明如表1所示。 不同规格的存储类别详细介绍请参考存储类别。 计费说明 表1 存储费用说明 资费项 计费项 含义 适用的计费模式

查看更多 →

存储管理 创建PVC（待废弃） 删除PVC（待废弃） 父主题： API

查看更多 →

存储卷 存储卷PV基础配置 metadata spec

查看更多 →

存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block

查看更多 →

容器存储 集群挂载存储卷声明时，需要集群提供商具备存储类（StorageClass）功能，以实现存储卷的动态创建。您可前往集群控制台的“存储”页面，在“存储类”页签下查看集群支持的存储类。更多StorageClass相关内容，请参见存储类。 创建存储卷声明 登录集群控制台。 在左

查看更多 →