全球数据传输加速

删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 select * from gs_async_rollback_xact_status()； 处理方法

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 select * from gs_async_rollback_xact_status()； 处理方法

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 SELECT * FROM gs_async_rollback_xact_status()； 处理方法

查看更多 →

运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时

查看更多 →

大量回滚事务拖慢Undo空间回收 问题现象 使用gs_async_rollback_xact_status视图查看有大量的待回滚事务，且待回滚的事务数量维持不变或者持续增高。 SELECT * FROM gs_async_rollback_xact_status()； 处理方法

查看更多 →

删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有

查看更多 →

ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间，修改时未停止集群，修改后HDFS进入安全模式，无法启动。 退出安全模式后启动，hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失 查看原生页面Datanode

查看更多 →

APIG是否支持WebSocket数据传输？ API网关支持WebSocket数据传输。 在创建API时，请求协议中的HTTP相当于WebSocket的ws，HTTPS相当于WebSocket的wss。 父主题： 调用API

查看更多 →

支持客户端/ 服务器 身份验证，增强了安全性。 配置和管理相对复杂，需要证书的颁发和更新。 可能会增加一些性能开销，特别是在加密和解密大量数据时。 适用于对数据传输安全性要求较高的环境，如金融、医疗等行业。 UDS方式 适用于本地通信，不经过网络，传输速度快。 不需要额外的网络开销，不容易受到网络攻击。

查看更多 →

传输加密（HTTPS） DEW支持HTTPS传输协议，为数据传输的安全性提供保证。 如何构造HTTPS协议请求 密钥管理 用户密钥材料的管理和存储采用硬件加密机进行保护，避免密钥泄露。 密钥管理功能特性 信封加密 对于大量数据加解密场景，DEW提供信封加密方式来保护应用系统中敏感

查看更多 →

三维建模的数据传输方式有哪些? 桌面端程序OBS Browser+：主要适用于上传数据量小（文件大小小于500GB），且网络较好的场景。 命令行工具OBSUtil：主要适用于上传数据量较大（文件大小超过500GB），或者需要执行批量处理、自动化任务的场景。 数据快递：主要适用于T

查看更多 →

务，它使用物理存储介质（Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等）向华为云传输大量数据。使用DES可解决海量数据传输的难题（包括高昂网络成本、较长传输时间等），DES传输数据的速度可达到1000Mbps，相当于高速Internet传输速度

查看更多 →

务，它使用物理存储介质（Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等）向华为云传输大量数据。使用DES可解决海量数据传输的难题（包括高昂网络成本、较长传输时间等），DES传输数据的速度可达到1000Mbps，相当于高速Internet传输速度

查看更多 →

务，它使用物理存储介质（Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等）向华为云传输大量数据。使用DES可解决海量数据传输的难题（包括高昂网络成本、较长传输时间等），DES传输数据的速度可达到1000Mbps，相当于高速Internet传输速度

查看更多 →

若您的集群使用本地存储，迁移上云可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方案，支持TB到几百TB级数据上云，通过Teleport设备或硬盘（外置USB接口、SATA接口、SAS接口）向华为云传输大量数据，致力于解决海量数据传输网络成本高、传输时间长等难题。 若您的集群对接了对象存储，

查看更多 →

如何处理健康检查导致的大量日志？ 可以增加健康检查间隔时间，配置方法详见修改健康检查配置。 存在的风险：延长健康检查的间隔时间后，后端E CS 实例出现故障时，负载均衡发现故障ECS实例的时间也会增长。 可以关闭健康检查，配置方法详见修改健康检查配置。 存在的风险：关闭健康检查后，负

查看更多 →

有大量分区时执行drop partition操作失败 问题背景与现象 执行drop partitions操作，执行异常： MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive

查看更多 →

为实现云上互换数据，可将数据传输到 对象存储服务 。 网站迁移：将静态网站信息，图片，脚本，视频等静态资源迁移到对象存储服务。 离线备份数据：将完整备份或增量备份发送至华为云对象存储服务，实现可靠的冗余离站存储，可与混合云备份方案配合使用。 灾难恢复：如果大量数据需进行容灾准备，初始

查看更多 →

查询账单时，为什么会有大量的公网流出流量？ 根据账单的使用量类型来区分，OBS的公网流出流量主要包含标准存储公网流出流量、低频访问存储公网流出流量、归档存储公网流出流量、深度归档存储公网流出流量。 这几种公网流出流量产生的流量费用来源如下： 标准存储公网流出流量：通过互联网下载标

查看更多 →

CDM 未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的。 如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 通用类

查看更多 →