使用多级agent串联从本地采集静态日志保存到HBase 操作场景 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。 本章节适用于 MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传

查看更多 →

使用多级agent串联从本地采集静态日志保存到HBase 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参

查看更多 →

使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。

查看更多 →

弹性伸缩会自动释放云 服务器 ，所以弹性伸缩组内的云服务器不可以保存应用的状态信息（例如session）和相关数据（如数据库、日志等）。如果应用中需要云服务器保存状态或日志信息，可以考虑把相关信息保存到独立的服务器中。 弹性伸缩无法纵向扩展，即弹性伸缩无法自动升降E CS 实例的vCPU和内存等配置。

查看更多 →

Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

开启SQL执行记录后，会保存到哪里 DAS服务的管理主机。 父主题： 产品咨询

查看更多 →

降低内存的处理方案 如果当前集群内存负载较高，或出现“memory is temporary unavailable”内存报错，首先利用日志信息确定内存异常节点，然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题，可比较proces

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生

查看更多 →

业务发生踩内存导致内存节点控制头被踩，长时间后才触发业务异常，业务逻辑复杂，难以定位发生踩内存的位置。开启该功能后，在动态内存申请接口中增加内存合法性检查，对动态内存池中所有节点控制头的合法性进行检查，若已发生动态内存节点被踩，及时触发异常，输出error信息，缩小问题定位范围。通过make menuconfig打开内存合法性检查。功能依

查看更多 →

获取系统内存大小 接口名称 WEB_GetSystemMemSizeAPI(后续废弃) 功能描述 获取系统内存大小 应用场景 获取系统内存大小 URL https://ip/action.cgi?ActionID=WEB_GetSystemMemSizeAPI 参数 无 返回值 表1

查看更多 →

Windows虚拟内存设置 仅Windows Server 2012 R2和Windows Server 2016需要设置虚拟内存。 裸金属服务器的内存很大，自动分配的虚拟内存会占用大量的系统盘空间，影响系统性能。建议在镜像制作过程中关闭虚拟内存或者设置上限。具体操作如下： 登录Windows虚拟机操作系统。

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，

查看更多 →

函数内存超限返回“runtime memory limit exceeded”，如何查看内存占用大小？ 请在函数请求返回界面查看。 图1 查看oom内存大小 父主题： 函数执行

查看更多 →

使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参

查看更多 →