getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHbasetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHbasetoHbase()

查看更多 →

执行命令vi $NODE_AGENT_HOME/bin/nodeagent_ctl.sh，找到“JVM_ARGS=”所在行，在该行的下一行添加一行新内容： JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 在集群所有节点执行1和2。

查看更多 →

选择“HMaster/RegionServer > 系统”，将“GC_OPTS”参数中“-Xmx”的值参考以下说明进行调大。 HMaster的GC参数配置建议 建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小的时候，建议把其设置成

查看更多 →

Impalad（Coordinator）角色的jvm内存要大于或等于Catalog角色的jvm内存 Impala的元数据存放在内存中，Impalad需要从Catalog同步全量元数据，要保证Impala的jvm内存大于Catalog的jvm内存，才可以容纳下这些元数据。 建表时分区不

查看更多 →

这些rowKey对应的数据进行删除。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark

查看更多 →

群，需要自行添加JVM参数："-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true 父主题： 在Linux中调测程序

查看更多 →

建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小时，建议把其设置成和“-XX:MaxNewSize”相同，均为“-Xmx”大小的1/8。 当HBase集群规模越大、Region数量越多时，可以适当调大HMaster的GC_OPT

查看更多 →

getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHbasetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHbasetoHbase()

查看更多 →

getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHbasetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHbasetoHbase()

查看更多 →

getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHbasetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHbasetoHbase()

查看更多 →

查看组件基础监控项 基础监控主要针对应用的JVM信息、JVM监控、GC监控、线程、JAVA方法进行监控。 查看组件基础监控项 登录AOM 2.0控制台。 在左侧导航栏选择“应用监控 > 组件列表”，进入组件列表页面。 在左侧“快速筛选”栏中，选择“区域”、“应用”以及“技术栈”。

查看更多 →

debuggerMode 调试器模式，可以设置为attach（连接到远程JVM）或listen（监听传入连接）。默认情况下，使用attach模式。 autoRestart 仅在debuggerMode设置为listen时可用，定义调试器在远程JVM断开连接后是否自动重启。默认情况下，使用false。

查看更多 →

CloudTable jvm_thread_new_count 线程数峰值 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_new_count new状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_runnable_count

查看更多 →

配置Websocket监控项 配置KafkaProducer监控项 配置Hikari连接池监控项 配置异常日志监控项 配置线程监控项 配置GC监控项 配置JVM信息监控项 配置JVM监控监控项 配置探针监控项 配置Springbean监控项 父主题： 应用指标监控

查看更多 →

Java heap space 根据报错预判发生了oom导致查询报错。 处理步骤 在Manager页面查找work的JVM参数（xmx）。 图2 Presto JVM参数配置 将xmx后面的1024改成2048，然后保存配置。 重启Presto服务，重新尝试查询。 父主题： 使用Presto

查看更多 →

在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后，也可以把代码编译成jar包，上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前，需在Linux节点预安装客户端。 操作步骤 根据需要修改“jaas-zk.conf”中“KeyTab”

查看更多 →

per，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5

查看更多 →

se表上这些rowKey对应的数据。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark

查看更多 →

on接口将数据并发写入HBase中。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark

查看更多 →

日志的最长保留时间。 4d Kryo Kryo是一个非常高效的Java序列化框架，Spark中也默认集成了该框架。几乎所有的Spark性能调优都离不开将Spark默认的序列化器转化为Kryo序列化器的过程。目前Kryo序列化只支持Spark数据层面的序列化，还不支持闭包的序列化。

查看更多 →

e用于缓存文件，因此节点内存占用会一直很高，平均已用内存比例达到98%是正常现象，请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JVM堆使用率”这两个指标来监控集群内存使用情况。 父主题： CSS 集群监控与运维

查看更多 →