如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select

查看更多 →

如何表示父子关系 方式一：图中绘制时采用图元嵌套的方式。同时，左侧目录树保持父子结构。 方式二：图中图元设置组合或者聚合关系。如果架构方案中设置其它类型的连线支持构成上下级关系，那么图中绘制对应的连线类型，也可以构成父子关系。 父主题： 模型设计

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

Session资源超阈值告警。 告警属性 告警ID 告警级别 告警类型 303046417 提示 设备告警 告警参数 参数名称 参数含义 OID 该告警所对应的MIB节点的OID号。 ApSessionNum AP当前会话数。 ApSessionNumThreshold AP会话数阈值。 ApSessionNumSpec

查看更多 →

ALM-303046912 磁盘使用率超阈值 告警解释 MID_ENTITY_TRAP/4/TRAPID_ENTITY_DISK_UTILIZATION_RISING:OID [OID] Storage utilization exceeded the pre-alarm threshold

查看更多 →

ALM-303046690 CPU使用率超阈值 告警解释 ENTITYTRAP/2/CPUUSAGERISING: OID [OID] CPU utilization exceeded the pre-alarm threshold.(Index=[INTEGER], HwEnt

查看更多 →

ALM-303046691 内存使用率超阈值 告警解释 ENTITYTRAP/2/MEMORYUSAGERISING: OID [OID] MEMORY utilization exceeded the pre-alarm threshold.(Index=[INTEGER],

查看更多 →

此，小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能，用户可设置合并后的平均文件大小。 支持的表类型 Spark：Parquet、ORC、 CS V、Text、Json。

查看更多 →

硬终端显示丢包率阈值A和B分别表示什么意思？ A表示一般丢包率，缺省值为1%；B表示严重丢包率，缺省值为5%。 丢包率相关提示如下： 丢包率小于或等于阈值A，遥控器操作界面不显示丢包率图标。 阈值A<丢包率<阈值B，遥控器操作界面显示丢包率图标为黄色。 丢包率大于或等于阈值B，遥控器操作界面显示丢包率图标为红色。

查看更多 →

产生告警的用户名称。 对系统的影响 Flink作业重启次数超阈值，说明Flink作业在频繁的失败重启，需要用户介入来查看原因，是Flink作业级别告警，对FlinkServer本身无影响。 可能原因 Flink重启次数超阈值的原因可在具体日志中查看。 处理步骤 使用具有FlinkS

查看更多 →

如何调整封堵阈值？ 华为云为普通用户免费提供2Gbps的DDoS攻击防护，最高可达5Gbps（视华为云可用带宽情况），当攻击超过限定的阈值时，华为云会采取黑洞策略封堵IP，对于可能会遭受超过5Gbps流量攻击的应用，建议您购买华为云 DDoS高防服务 ，提升防护能力。 父主题： 阈值及黑洞类

查看更多 →

如何修改CPU的阈值？ SAP应用弹性伸缩安装后，默认CPU的阈值为85%，当CPU的使用率超过85%，自动扩展实例，根据实际业务可修改CPU的阈值，保障系统稳定运行。 操作步骤 登录公有云管理控制台。 在公有云管理控制台首页上，选择“服务列表 > 管理与部署 > 云监控”。 在左侧的导航栏，单击“告警

查看更多 →

如何设置余额预警阈值？ 进入“费用中心”的总览页面。 在页面打开“可用额度预警”参数后面开关，设置预警阈值，单击“确定”，完成设置。 开通后，当可用额度、通用代金券和现金券的总金额低于预警阈值时，系统自动发送短信通知提醒。 IAM账号不独立计费，无法设置余额预警阈值。 父主题： 计费FAQ

查看更多 →

ALM-18024 Yarn任务挂起内存量超阈值 告警解释 告警模块按60秒周期检测Yarn当前挂起的内存量大小，当Yarn上面挂起的内存量大小超过阈值时，触发该告警。挂起的内存量表示当前所有提交的Yarn应用还没有满足的内存量总和。 告警属性 告警ID 告警级别 是否自动清除 18024

查看更多 →

硬终端显示丢包率阈值A和B分别表示什么意思？ A表示一般丢包率，缺省值为1%；B表示严重丢包率，缺省值为5%。 丢包率相关提示如下： 丢包率<=阈值A，遥控器操作界面不显示丢包率图标。 阈值A<丢包率<阈值B，遥控器操作界面显示丢包率图标为黄色。 丢包率>=阈值B，遥控器操作界面显示丢包率图标为红色。

查看更多 →

如何设置余额预警阈值？ 进入“费用中心”的总览页面。 在页面打开“可用额度预警”参数后面开关，设置阈值，单击“确定”，完成设置。 开通后，当可用额度、通用代金券和现金券的总金额低于预警阈值时，系统自动发送短信通知提醒。 IAM账号不独立计费，无法设置余额预警阈值。 父主题： 购买计费

查看更多 →

磁盘Inode使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测磁盘Inode使用率，并把实际Inode使用率和阈值（系统默认阈值80%）进行比较，当检测到Inode使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机

查看更多 →

Flink作业连续checkpoint失败次数超阈值 本章节仅适用于 MRS 3.3.1及以后版本。 告警解释 系统以用户配置的告警周期检查CheckPoint连续失败次数，如果FlinkServer作业CheckPoint连续失败次数达到用户配置的阈值，则发送告警。当CheckPoint恢复正常，或者作业重启成功，则告警恢复。

查看更多 →

DWS集群的SQL探针耗时超阈值 告警解释 GaussDB (DWS)每30秒采集集群各节点SQL探针的执行情况。如果存在任意集群的任意主机存在SQL探针执行耗时超过2倍阈值（可配置），则上报集群的SQL探针耗时超阈值的紧急告警；如果所有SQL探针执行耗时不超过该阈值，则消除该紧急告警。

查看更多 →

配置Spark小文件自动合并 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。

查看更多 →