Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。

查看更多 →

析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

创建一台裸金属 服务器 需要多久？ Linux裸金属服务器通常在30分钟之内创建成功，Windows裸金属服务器需要1~2小时；快速发放裸金属服务器只需5分钟左右即可创建成功。 父主题： 实例类

查看更多 →

连接云下的多台服务器需要购买几个连接？ VPN属于IPsec VPN，它是用于打通云上VPC和用户侧数据中心子网的VPN，所以购买VPN连接的个数与服务器的数量无关，而与这些服务器所在的数据中心数量有关。 一个VPN网关支持绑定两个EIP和用户侧网关进行通信： 如果用户侧数据中心

查看更多 →

密码需要定期修改么 为保障帐号安全，无论是自注册帐号或代建帐号，需要定期修改密码。 系统默认密码有效期为90天，过期前10、7、3、2、1天都会发送邮件提示用户修改密码，登录页面时也会提示修改密码。过期后再次登录页面将强制用户修改密码，否则无法登录。密码修改的具体步骤请参见用户密码修改。

查看更多 →

实验考试需要预约吗？ 工作级开发者认证（P级）需要预约。通过理论考试后需要预约实验考试，预约实验考试需要提前并间隔两个工作日，例如：周六可预约，周日休息，只能预约到下周三的考试。 考试预约入口如下： （1）、工作级开发者主页： （2）、我的认证页面： 父主题： 开发者认证实验考试常见问题

查看更多 →

域名 过户需要多久？ 域名过户资料由注册局负责审核，大约需要1~3个工作日。 父主题： 域名过户

查看更多 →

哪些APP需要备案？ 在中华人民共和国境内从事互联网信息服务的APP主办者，应当依法履行备案手续，未履行备案手续的，不得从事互联网信息服务。APP是指包含智能终端预置、下载、安装的程序，以及基于应用软件开放平台接口开放的，用户无需安装即可使用的程序等（小程序、快应用）。 单机不联网APP、小程序无需备案。

查看更多 →

使用云硬盘备份恢复数据时，需要停止服务器吗？ 需要先停止服务器，并解除服务器和云硬盘的绑定关系后再做恢复操作。 恢复后，再绑定云硬盘并启动服务器。 具体操作请参见《云备份用户指南》“使用云硬盘备份恢复数据”章节。 父主题： 恢复类

查看更多 →

怎样配置Windows弹性云服务器的虚拟内存？ 开启弹性云服务器的虚拟内存后，会导致内存I/O性能下降。当弹性云服务器内存不足时，建议通过变更规格操作来扩大内存。若因业务需要，必须开启虚拟内存，请参见本节内容进行配置。 内存使用率已经非常高，同时I/O性能也不是很好的情况下，如果配置虚拟内存会起到反

查看更多 →

Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

在“实例管理”页面，选择目标实例名称。 在左侧导航栏选择“内存加速”，单击“创建GeminiDB实例”。 填写并选择实例相关信息后，单击“提交”，完成实例创建。 表1 基本信息 参数 描述 GeminiDB实例规格 实例的CPU和内存，详细规格见表2。 数据库端口 数据库的访问端口号。 GeminiDB

查看更多 →

PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

降低内存的处理方案 如果当前集群内存负载较高，或出现“memory is temporary unavailable”内存报错，首先利用日志信息确定内存异常节点，然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题，可比较proces

查看更多 →

10^11个shuffle文件）。如果磁盘文件数量特别巨大，对文件读写的性能会带来比较大的影响，此外由于同时打开的文件句柄数量多，序列化以及压缩等操作需要占用非常大的临时内存空间，对内存的使用和GC带来很大的压力，从而容易造成Executor无法响应Driver。 因此，建议使用Sort shuffle，而不使用Hash

查看更多 →

10^11个shuffle文件）。如果磁盘文件数量特别巨大，对文件读写的性能会带来比较大的影响，此外由于同时打开的文件句柄数量多，序列化以及压缩等操作需要占用非常大的临时内存空间，对内存的使用和GC带来很大的压力，从而容易造成Executor无法响应Driver。 因此，建议使用Sort shuffle，而不使用Hash

查看更多 →