全球数据传输加速

若您的集群使用了云硬盘，跨云迁移可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 若您的集群使用了对象存储，跨云迁移可以使用华为云 对象存储迁移 服务

查看更多 →

创建大量znode后ZooKeeper Server启动失败 问题 创建大量znode后，ZooKeeper集群处于故障状态不能自动恢复，尝试重启失败，ZooKeeper Server日志显示如下内容： follower： 2016-06-23 08:00:18,763 | WARN

查看更多 →

obsutil上传下载速度慢 OBS不限速，obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载，如果通过公网，受公网带宽限制；如果通过内网，受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题，可参考以下方法排查处理： 检查网络。

查看更多 →

可用区之间的数据传输是否需要收费？ 同一区域下的可用区不收费，跨区域的可用区则需要收费。 父主题： 区域与可用区

查看更多 →

CDM 未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的，如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 通用类

查看更多 →

数据快递服务（Data Express Service）是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口类型）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 图说DES 立即体验 成长地图

查看更多 →

CDM未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的，如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 数据集成

查看更多 →

有大量分区时执行drop partition操作失败 问题背景与现象 执行drop partitions操作，执行异常： MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive

查看更多 →

如何处理健康检查导致的大量日志？ 可以增加健康检查间隔时间，配置方法详见修改健康检查配置。 存在的风险：延长健康检查的间隔时间后，后端E CS 实例出现故障时，负载均衡发现故障ECS实例的时间也会增长。 可以关闭健康检查，配置方法详见修改健康检查配置。 存在的风险：关闭健康检查后，负

查看更多 →

普通模式：authentication HDFS dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data Transfer）通道。设置为“true”表示加密，默认不加密。

查看更多 →

SSH登录或数据传输时速度很慢，如何解决？ 问题描述 在Linux实例中，通过外网使用SSH服务登录或数据传输时，速度很慢，这是因为SSH服务启用了UseDNS特性所致。 UseDNS特性是SSH服务的安全增强特性，默认为开启状态。开启后，服务端先根据客户端的IP地址进行DNS

查看更多 →

使用deleteall命令删除大量znode时报错“Node does not exist” 问题 客户端连接非leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。 回答 由于网络问

查看更多 →

如何批量删除桶中大量对象或清空桶？ OBS提供如下两种方案，用以批量删除桶中大量对象或将桶中对象清空。 方案一：使用OBS Browser+批量删除对象 OBS Browser+是一款用于访问和管理 对象存储服务 OBS的图形化工具，支持完善的桶管理和对象管理操作。OBS Brows

查看更多 →

Loader作业导入大量数据至HDFS时报错 问题 大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错： HDFS客户端向NameNode发送新Block申

查看更多 →

使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。 回答 由于网

查看更多 →

创建大量ZNode后ZooKeeper Server启动失败 问题 创建大量ZNode后，ZooKeeper集群处于故障状态不能自动恢复，尝试重启失败，ZooKeeper Server日志显示如下内容： Follower： 2016-06-23 08:00:18,763 | WARN

查看更多 →

数据快递服务（Data Express Service，DES）是一种海量数据传输解决方案，支持TB到PB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口类型）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 如果源端存在数据量特别大的

查看更多 →

并发提交大量oozie任务时，任务一直没有运行 问题现象 并发提交大量oozie任务的时候，任务一直没有运行。 原因分析 Oozie提交任务会先启动一个oozie-launcher，然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。

查看更多 →

以内数据禁止使用动态分区（动态分区会自动创建分区，而小表用户客户关注不到，会创建出大量不使用分区分桶）。 【强制】创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 【建议】单表物化视图不能超过6个。 【建议】对于有大量历史分区数据，但是历史数据比较少，或者不均衡，或者查询概率的情况，使用如下方式将数据放在特殊分区：

查看更多 →

件管理方式存在着文件分散、没有集中管理等情况，不仅对文件的查阅带来极大的阻碍，还会耗费大量的人力和时间，效率低下，容易出现错误、遗漏等问题。 文件管理安全性不高 工业相关企业的文件中往往包含大量的敏感信息，例如设计图纸、客户订单、物料标准、财务报告等，具有很高的安全性和保密性要求

查看更多 →

大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →