配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端，执行以下命令适当调大“query_timeout”参数值，默认为300秒。 SET GLOBAL query_timeout

查看更多 →

5单机版为例，介绍如何通过自定义脚本来冻结、解冻MySQL数据库，以实现对于MySQL数据库的数据库备份。 场景介绍 某企业购买了 云服务器 ，并在云 服务器 中安装了MySQL 5.5数据库用于存放业务数据。随着数据量的增加，之前的崩溃一致性保护已经满足不了RTO、RPO的要求，决定采用应用一致性备份，减小RTO与RPO。

查看更多 →

obsutil 主要适用于下载数据量较大（文件大小超过500GB），或者需要执行批量处理、自动化任务的场景。 简单、易用； 无需安装，轻便小巧，即下即用； 同时支持Windows/Linux/macOS三大平台 配置多元化，性能卓越。 需要用户了解命令行操作。 文件大小超过500GB。

查看更多 →

数据模型 fieldlength=100, fieldcount=10 预置数据量 本次性能测试中，针对每种规格的实例，测试了如下预置数据量的性能。 预置数据具体如下表所示： 表3 预置数据量 编号 规格 预置数据量 cluster1 4U16GB 200GB cluster2 8U32GB

查看更多 →

放内存。 如果要从根本上解决内存不足的问题，需要对服务器内存进行扩容，扩大内存空间。如果不具备扩容的条件，可通过优化应用程序，以及配置使用大页内存来进行缓解。 带宽使用率高问题分析 如果是正常业务访问以及正常应用进程导致的带宽使用率高，需要升级服务器的带宽进行解决。如果是非正常访

查看更多 →

30TB~500TB的数据量迁移，500TB以上建议通过专线迁移 用户无法提供大容量的存储介质 用户需要快速迁移数据，对传输速率，传输时间要求比较紧急 Teleport单设备支持60TB和120TB两种规格。 华为数据中心邮寄Teleport设备给用户 磁盘方式 30TB以下的数据量迁移 外置

查看更多 →

如下参数： brpc_socket_max_unwritten_bytes：用于设置未发送的数据量的阈值，默认为1GB。如果未发送数据量超过该值，则会报OVERCROWDED错，可适当调大该值。 tablet_writer_ignore_eovercrowded：是否忽略数据导入

查看更多 →

三点： 数据存储量受限于搭建服务器时使用的硬件设备，如果存储量不够，需要重新购买存储硬盘，进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。 需承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险。 OBS提供海量、稳定、安全的云存储

查看更多 →

迁移过程中可能会出现业务中断情况，中断时长与迁移数据量大小、网络情况相关。 数据迁移是一项比较复杂的操作，建议在业务量较低时进行。本指南仅供参考，您需要根据自己业务场景、数据量、停机时间要求等情况，设计合适的迁移方案。 对于数据表和数据量较大的场景，建议您在管理控制台右上角，提交工单

查看更多 →

分区表 本章节围绕分区表在大数据量场景下如何对保存的数据进行“查询优化”和“运维管理”出发，分六个章节以此对分区表使用上进行系统性说明，包含语义、原理、约束限制等方面。 大容量数据库 分区表介绍 分区表查询优化 分区表运维管理 分区表系统视图&DFX

查看更多 →

id IN (SELECT id FROM tab_b WHERE name = 'xx'); 这里说的大表为条件过滤后的总数据量，千万级以上的数据量可定义为大表。 关联查询必须大表join小表 对于ClickHouse来说，原则上需要把多表join模型提前加工为宽表模型，但是在一

查看更多 →

挂载云硬盘 云硬盘与云服务器所属的区域和可用区的关系 一块云硬盘只能挂载到同一区域、同一可用区的云服务器上。 非共享盘可同时挂载的云服务器数量 1台 共享盘可同时挂载的云服务器数量 16台 一台云服务器可同时挂载的云硬盘数量 不同的实例类型限制不同。 具体可参见一台弹性云服务器可以挂载多少磁盘。

查看更多 →

放内存。 如果要从根本上解决内存不足的问题，需要对服务器内存进行扩容，扩大内存空间。如果不具备扩容的条件，可通过优化应用程序，以及配置使用大页内存来进行缓解。 带宽使用率高问题分析 如果是正常业务访问以及正常应用进程导致的带宽使用率高，需要升级服务器的带宽进行解决。如果是非正常访

查看更多 →

建议搭配服务 数据快递服务 DES，弹性云服务器 E CS 图6 备份归档 HPC 场景描述 OBS配合弹性云服务器（ECS）、弹性伸缩（AS）、云硬盘（EVS）、 镜像服务 （IMS）、统一身份认证服务（IAM）和 云监控服务 （CES），为HPC提供大容量、大单流带宽、安全可靠的解决方案。 在

查看更多 →

1390元/GB/月 请求费用：0.0100元/万次 预计每月新增低于1GB数据量，花费低于0.1390元。 合计 373 元 表2 资源和成本规划（增强版） 华为云服务 配置示例 每月花费 弹性云服务器 ECS 区域：华北-北京四 计费模式：按需计费 规格：X86计算 | 通用计算型

查看更多 →

为云 对象存储服务 OBS。 源端设置检查，检查源端服务器操作系统是否满足迁移条件，弹性云服务器类型与支持的操作系统版本，确认源端数据量等。 目的端资源准备。 根据部署方案输出的内容发放华为云服务器资源。 根据安全设计完成安全方面设置。 根据具体需要在华为云购买OBS、SFS、 OMS 、DES等服务。

查看更多 →

应用场景 交易型应用 大并发、大数据量、以联机事务处理为主的交易型应用，如政务、金融、电商、O2O、电信CRM/计费等，服务能力支持高扩展、弹性扩缩，应用可按需选择不同的部署规模。 详单查询 具备PB级数据负载能力，通过内存分析技术满足海量数据边入库边查询要求，适用于安全、电信、金融、物联网等行业的详单查询业务。

查看更多 →

计算公式：单个云耀云服务器CPU使用率 / 单个云耀云服务器的CPU总核数。 ≥ 0% 云服务器 5分钟 mem_util 内存使用率 该指标用于统计云耀云服务器的内存使用率。 如果用户使用的镜像未安装vmtools，则无法获取该监控指标。 单位：百分比。 计算公式：该云耀云服务器内存使用量

查看更多 →

/Flexus云服务器X实例磁盘总容量。 ≥ 0% 云服务器 5分钟 disk_read_bytes_rate 磁盘读带宽 该指标用于统计每秒从Flexus云服务器X实例读出数据量。 单位：字节/秒。 计算公式：Flexus云服务器X实例的磁盘读出的字节数之和 / 测量周期。 byte_out

查看更多 →

分区表 本章节围绕分区表在大数据量场景下如何对保存的数据进行“查询优化”和“运维管理”出发，分六个章节对分区表使用进行系统性说明，包含语义、原理、约束限制等方面。 大容量数据库 分区表介绍 分区表查询优化 分区表运维管理 分区表系统视图&DFX

查看更多 →