监控分析 告警监控 用户登录记录 桌面使用记录

查看更多 →

监控分析 应用记录 会话管理 父主题： 管理员操作指南

查看更多 →

20 其中各字段分别为：输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。

查看更多 →

20 其中各字段分别为：输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

之。 val conf = new SparkConf() conf.set("spark.default.parallelism", 24) 在“$SPARK_HOME/conf/spark-defaults.conf”文件中配置“spark.default.parallelism”的值，优先级最低。

查看更多 →

JVM监控界面内存监控中，为何最大内存比分配内存小？ 通过-Xmx设置了堆内存的最大值，堆内存的分配值也不一定比设定的堆内存的最大值小，JVM是动态申请堆内存的，即使配置了-Xms最小值，也不是一开始就分配到-Xms值，会根据2的倍数申请，很可能稍微超过-Xmx的限制，可增加-X

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

网络分析与监控 广域网质量监控（公测） 站点监控

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证

查看更多 →

使用Spark SQL作业分析OBS数据 DLI 支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已

查看更多 →

Executor内存）÷4]，（Executor个数 x Executor CPU核数）} x1 driver所占CUs数=max [（ driver内存÷4）， driver CPU核数] x1 Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资

查看更多 →

导出并分析视频质量监控指标 用户接入视频直播或多方协调时，针对直播或会议的视频质量指标可以进行导出，用以分析视频中出现的视频质量问题。 操作步骤 登录ISDP系统，选择“用户运营 > 产品监控 > 视频质量监控”进入视频监控列表页面 选择会议名称，点击“导出” 在跳出的页面，点击蓝色字体“这里”跳转到导出页面中

查看更多 →

配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults

查看更多 →

educe Jar程序。 Spark：基于内存进行计算的分布式计算框架， MRS 支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。

查看更多 →

。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET 取值范围：整型，64~INT_MAX，单位为KB。 默认值：小规格内存为512MB， 大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。 设置建议：

查看更多 →

200（196核CPU/1536G内存，128核CPU/1024G内存，104核CPU/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核C

查看更多 →

U/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核CPU/64G内存，4核CPU/32G内存）；128kB（4核CPU/16G内存）

查看更多 →

level1：动态内存使用超过最大动态内存的90%后，会记录以下信息，并将记录的内存信息保存在$GAUSS LOG /mem_log目录下。 全局内存概况。 instance，session，thread三种类型的所有内存上下文中内存占用前20的内存上下文的内存使用情况。 每个内存上下文的totalsize、freesize字段。

查看更多 →