Java 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类： StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。 DataStr

查看更多 →

配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

overhead”报错 问题背景与现象 通过客户端提交任务，客户端返回内存溢出的报错结果： 原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDF

查看更多 →

通过内存size检查定位问题，参见内存size检查。

查看更多 →

配置心跳函数 概述 心跳函数用于检测用户函数运行时的异常，例如以下场景： 用户函数死锁，无法正常运行。 用户函数内存溢出，无法正常运行。 用户函数网络异常，无法正常运行。 在配置了自定义心跳函数后，当用户函数运行时，FunctionGraph每隔5s向函数实例发送一次心跳请求，触

查看更多 →

系统性能急剧下降。 集群实例，请参见变更集群实例的CPU和内存规格。 副本集实例，请参见变更副本集实例的CPU和内存规格。 单节点实例，请参见变更单节点实例的CPU和内存规格。 父主题： 性能调优

查看更多 →

0T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答 当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。

查看更多 →

0T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答 当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。

查看更多 →

有限内存并不意味着内存无限小，它只是在内存不足于放下大于内存可用总量几倍的数据时，通过利用磁盘来做辅助从而确保查询依然稳定执行，但依然有一些数据是必须留在内存的，如在做涉及到Join的查询时，对于当前用于Join的相同key的数据还是需要放在内存中，如果该数据量较大而内存较小依

查看更多 →

有限内存并不意味着内存无限小，它只是在内存不足于放下大于内存可用总量几倍的数据时，通过利用磁盘来做辅助从而确保查询依然稳定执行，但依然有一些数据是必须留在内存的，如在做涉及到Join的查询时，对于当前用于Join的相同key的数据还是需要放在内存中，如果该数据量较大而内存较小依

查看更多 →

Java API 关于YARN的详细API可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol 用于

查看更多 →

Java API 典型接口说明 以下仅对Manager REST API开发过程中的典型方法进行描述。 表1 restApiDemo.src.rest.BasicAuthAcces 方法 描述 loginAndAccess (String webUrl,String userName

查看更多 →

Java API 关于MapReduce的详细API可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop.mapreduce

查看更多 →

Java API 接口使用建议 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象，而不是org.apache.hadoop.hbase.KeyValue。 建议使用Connection connection = ConnectionFactory.

查看更多 →

Java API 典型接口说明 以下仅对Manager REST API开发过程中的典型方法进行描述。 表1 restApiDemo.src.rest.BasicAuthAcces 方法 描述 loginAndAccess (String webUrl,String userName

查看更多 →

JAVA类型 APM支持的JAVA类型 APM支持JAVA类应用，目前已支持多种主流Java框架、web服务器、通讯协议、数据库等，可实现应用轻松接入。 表1 自研探针JAVA组件和框架 探针类型 组件 JDK 1.8 JDK 17 自研探针 Dubbo 2.6.x 2.6.x 自研探针

查看更多 →

Java API Kafka相关接口同开源社区保持一致，详情请参见http://kafka.apache.org/documentation.html#api。 父主题： Kafka接口

查看更多 →

Java API HDFS完整和详细的接口可以直接参考官方网站描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。

查看更多 →

R4的内存实例，是高内存计算应用的合适选择。 内存优化型类别的专属计算集群分为：m3、m6、m7。可用于部署M3型云服务器、M6型云服务、M7型云服务器。 专属计算集群规格 表1 m3型专属计算集群规格说明 专属计算集群类型 CPU数量（Sockets） 物理内核 硬件规格 vCPUs

查看更多 →

业务代码中出现踩内存、释放野指针问题，通过异常dump信息较难定位内存非法操作的位置。备份动态内存节点控制头信息：在前一内存节点控制头中备份当前节点控制头信息。在内存申请和释放操作中增加对当前节点的控制头信息与备份信息的检测，在节点控制头被踩而备份信息未踩时，输出节点控制头备份信息及被踩节点前一内存节点信息，用于进一步分析是否为越界踩内存

查看更多 →

业务运行中发生内存泄露，业务逻辑复杂或者长时间运行才出现。申请内存和释放申请时，在内存节点控制头中记录函数调用栈，发生内存泄露时，通过分析used节点信息，可定位疑似内存泄露的位置。目前只有bestfit内存管理算法支持该功能，需要使能LOSCFG_KERNEL_MEM_BESTFIT。Kernel ---> Memory Managem

查看更多 →