删除元数据 当元数据文件失效后，您可以在“元数据管理”页面，对应的元数据文件“操作”列中单击“删除”，来删除元数据文件。 数据删除后无法恢复，请谨慎操作。 图1 删除元数据 父主题： 元数据操作

查看更多 →

参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取方法请参见 获取Token 接口，响应消息头中X-Subject-Token的值即为Token。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 errorMessage

查看更多 →

String 元数据ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取方法请参见获取Token接口，响应消息头中X-Subject-Token的值即为Token。

查看更多 →

删除云 服务器 指定元数据 功能介绍 删除云服务器指定元数据。 接口约束 云服务器状态（云服务器的OS-EXT-STS:vm_state属性）必须是active，stopped，paused或者suspended。 调试 您可以在 API Explorer 中调试该接口。 URI DELETE

查看更多 →

删除云服务器指定元数据 功能介绍 删除云服务器指定元数据。 接口约束 云服务器状态（云服务器的OS-EXT-STS:vm_state属性）必须是active，stopped，paused或者suspended。 调试 您可以在API Explorer中调试该接口。 URI DELETE

查看更多 →

Token的值）。 响应参数 状态码： 400 表3 响应Body参数 参数 参数类型 描述 error Error object 出现错误时，返回的错误信息。 表4 Error 参数 参数类型 描述 code String 出现错误时，返回的错误码。 错误码和其对应的含义请参考错误码说明。

查看更多 →

Token的值）。 响应参数 状态码： 400 表3 响应Body参数 参数 参数类型 描述 error Error object 出现错误时，返回的错误信息。 表4 Error 参数 参数类型 描述 code String 出现错误时，返回的错误码。 错误码和其对应的含义请参考错误码说明。

查看更多 →

为什么存储小文件过程中缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site

查看更多 →

为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

Error object 出现错误时，返回的错误信息。 表4 Error 参数 参数类型 描述 code String 出现错误时，返回的错误码。 错误码和其对应的含义请参考错误码说明。 message String 出现错误时，返回的错误消息。 请求示例 DELETE http

查看更多 →

导入导出应用中对象的元数据 操作场景 将当前系统中的对象元数据导出，然后在其他环境或账号导入，实现数据迁移和备份，如迁移旧的元数据和数据去新的环境，保持对象的一致和兼容。从而实现在不同的账号间或环境间的数据迁移，避免重复开发和不兼容的开发。 导出对象元数据 在AstroZero服

查看更多 →

Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 返回状态码。 错误码 请参见错误码。 父主题： 元数据迁移

查看更多 →

Error object 出现错误时，返回的错误信息。 表4 Error 参数 参数类型 描述 code String 出现错误时，返回的错误码。 错误码和其对应的含义请参考错误码说明。 message String 出现错误时，返回的错误消息。 请求示例 DELETE http

查看更多 →

如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

小文件的元数据会占用NameNode的大量内存。 HDFS中数据的备份数量3份即可 DataNode数据备份数量3份即可，增加备份数量不能提升系统效率，只会提升系统数据的安全系数；在某个节点损坏时，该节点上的数据会被均衡到其他节点上。 HDFS定期镜像备份 NameNode的镜像备份参数为“fs

查看更多 →

succeeded 请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间，至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行，在此过程中读表，可能临时出现找不到文件的问题，合并完成后会恢复正常；另外在合并过程中请注意不要对相应的表进行写操作，否则可能会产生数据一致性问题。

查看更多 →

committer小文件写性能 提升 对象存储服务 （OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

如果把海量小文件直接保存在HDFS中，会给NameNode带来极大的压力。 由于HBase接口以及内部机制的原因，一些较大的文件也不适合直接保存到HBase中。 HFS的出现，就是为了解决需要在Hadoop中存储海量小文件，同时也要存储一些大文件的混合场景。简单来说，就是在HBase表中，需要存放大量的小文件

查看更多 →