全球数据传输加速

配置Controller与Agent间数据传输加密 操作场景 安装集群后Controller和Agent之间需要进行数据通信，在通信的过程中采用了Kerberos认证，出于对集群性能的考虑，通信过程默认不加密，对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于 MRS

查看更多 →

数据快递服务（Data Express Service）是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口类型）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 图说DES 立即体验 成长地图

查看更多 →

若您的集群使用了云硬盘，跨云迁移可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 若您的集群使用了对象存储，跨云迁移可以使用华为云 对象存储迁移 服务

查看更多 →

创建大量znode后ZooKeeper Server启动失败 问题 创建大量znode后，ZooKeeper集群处于故障状态不能自动恢复，尝试重启失败，ZooKeeper Server日志显示如下内容： follower： 2016-06-23 08:00:18,763 | WARN

查看更多 →

CDM 未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的。 如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 数据集成（CDM作业）

查看更多 →

支持客户端/ 服务器 身份验证，增强了安全性。 配置和管理相对复杂，需要证书的颁发和更新。 可能会增加一些性能开销，特别是在加密和解密大量数据时。 适用于对数据传输安全性要求较高的环境，如金融、医疗等行业。 UDS方式 适用于本地通信，不经过网络，传输速度快。 不需要额外的网络开销，不容易受到网络攻击。

查看更多 →

Loader作业导入大量数据至HDFS时报错 问题 大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错： HDFS客户端向NameNode发送新Block申

查看更多 →

SSH登录或数据传输时速度很慢，如何解决？ 问题描述 在Linux实例中，通过外网使用SSH服务登录或数据传输时，速度很慢，这是因为SSH服务启用了UseDNS特性所致。 UseDNS特性是SSH服务的安全增强特性，默认为开启状态。开启后，服务端先根据客户端的IP地址进行DNS

查看更多 →

obsutil上传下载速度慢 OBS不限速，obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载，如果通过公网，受公网带宽限制；如果通过内网，受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题，可参考以下方法排查处理： 检查网络。

查看更多 →

可用区之间的数据传输是否需要收费？ 同一区域下的可用区不收费，跨区域的可用区则需要收费。 父主题： 区域与可用区

查看更多 →

长事务产生大量临时表导致内存超限的解决办法 场景描述 云数据库TaurusDB实例在11:30到12:27分内存使用率持续上升，最终触发内存超限。 图1 内存使用率 原因分析 查看processlist.log日志，查询到有两个慢SQL与图1中内存增长的时间比较匹配。 图2 查询慢SQL

查看更多 →

创建大量ZNode后ZooKeeper Server启动失败 问题 创建大量ZNode后，ZooKeeper集群处于故障状态不能自动恢复，尝试重启失败，ZooKeeper Server日志显示如下内容： Follower： 2016-06-23 08:00:18,763 | WARN

查看更多 →

分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存储在多个节点上，以提高数据的可靠性和可扩展性。 数据压缩：对于大量的数据，可以采用压缩算法进行压缩，以减少数据的存储空间和传输带宽。 并行计算：使用并行计算框架，如Apache Spark、Apache

查看更多 →

使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。 回答 由于网

查看更多 →

大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →

长事务产生大量临时表导致内存超限的解决办法 场景描述 云数据库 GaussDB (for MySQL)实例在11:30到12:27分内存使用率持续上升，最终触发内存超限。 图1 内存使用率 原因分析 查看processlist.log日志，查询到有两个慢SQL与图1中内存增长的时间比较匹配。

查看更多 →

数据快递服务（Data Express Service，DES）是一种海量数据传输解决方案，支持TB到PB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口类型）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 如果源端存在数据量特别大的

查看更多 →

以内数据禁止使用动态分区（动态分区会自动创建分区，而小表用户客户关注不到，会创建出大量不使用分区分桶）。 【强制】创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 【建议】单表物化视图不能超过6个。 【建议】对于有大量历史分区数据，但是历史数据比较少，或者不均衡，或者查询概率的情况，使用如下方式将数据放在特殊分区：

查看更多 →

使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。 回答 由于网

查看更多 →

并发提交大量oozie任务时，任务一直没有运行 问题现象 并发提交大量oozie任务的时候，任务一直没有运行。 原因分析 Oozie提交任务会先启动一个oozie-launcher，然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。

查看更多 →

长查询执行期间大量并发更新偶现写入性能下降 问题现象 执行全表扫描类型的长查询，扫描期间页面发生大量并发更新，部分DML写入性能较没有长查询时出现性能下降。 问题分析 对于全表扫描场景下的长查询（例如持续两小时以上），在扫描到某个页面前，该页面发生大量集中并发更新（例如十万次以上

查看更多 →