堆空间的1/3，老年代占2/3。 开发Spark应用程序时，优化RDD的数据结构。 使用原始类型数组替代集合类，如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，

查看更多 →

Spring框架远程代码执行高危漏洞 Apache Dubbo反序列化漏洞 开源组件Fastjson拒绝服务漏洞 开源组件Fastjson远程代码执行漏洞 Oracle WebLogic wls9-async反序列化远程命令执行漏洞（CNVD-C-2019-48814）

查看更多 →

堆空间的1/3，老年代占2/3。 开发Spark应用程序时，优化RDD的数据结构。 使用原始类型数组替代集合类，如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，

查看更多 →

边界防护与响应 表1 规格清单 一级分类 二级分类 规格名称 规格描述 管理 授权管理 服务授权 进行边界防护相关功能的授权管理。 安全态势大屏 资产失陷态势 资产失陷态势，包括：失陷主机趋势、失陷主机分布、失陷事件阻断率、最新失陷事件、top失陷主机、top失陷类型、top失陷事件。

查看更多 →

堆空间的1/3，老年代占2/3。 开发Spark应用程序时，优化RDD的数据结构。 使用原始类型数组替代集合类，如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，

查看更多 →

防护建议 通过WAF的精准访问防护功能，参考图1和图2分别配置限制访问路径前缀为/_async/和/wls-wsat/的请求，拦截利用该漏洞发起的远程命令执行攻击请求。精准访问防护规则的具体配置方法请参见配置精准访问防护规则。 图1 async配置 图2 wls-wsat配置 父主题：

查看更多 →

result" ] } }, 使用OBS工具，用户可参照obsutil使用指南，结合从步骤1获取的访问密钥下载体积结果。 对文件参照下述格式进行解析，得到体积计算结果。 # 导入必要的库 import json import os

查看更多 →

防护建议 通过WAF的精准访问防护功能，参考图1和图2分别配置限制访问路径前缀为/_async/和/wls-wsat/的请求，拦截利用该漏洞发起的远程命令执行攻击请求。精准访问防护规则的具体配置方法请参见配置精准访问防护规则。 图1 async配置 图2 wls-wsat配置

查看更多 →

方案。 另外，对于仿真器B的configure.xml文件的以下两个字段需要更改为： <ControlInLoop value="1" type="1" /> <CoSimuSocketMode value="2" /> 父主题： 镜像制作（仿真）

查看更多 →

提供两种不同的数据汇聚功能配置选项，两者在Spark JD BCS erver服务端的tunning选项中进行设置，设置完后需要重启JDB CS erver。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。

查看更多 →

提供两种不同的数据汇聚功能配置选项，两者在Spark JDBCServer服务端的tunning选项中进行设置，设置完后需要重启JDBCServer。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。

查看更多 →

select approx_set(cookieid) from cookies_log;--02 0c 02 00 c0 77 15 40 c1 2f 1b c2 cardinality(hll) → bigint 描述：计算hll汇总的数据。 select cardinality(approx_set(cookieid))

查看更多 →

通过 avro-confluent.subject 参数来制定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 无 String 指定使用格式，这是应该使用'avro-confluent'。

查看更多 →

入门实践 当您将防护网站接入 Web应用防火墙 （WAF）后，可以根据自身业务场景使用WAF的一系列常用实践。 表1 常用最佳实践 实践 描述 域名 接入 单独使用WAF配置指导 网站没有接入WAF前，DNS直接解析到源站的IP。网站接入WAF后，需要把DNS解析到WAF的CNAME，

查看更多 →

schema-registry.subject 参数来制定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，这里应该是'avro-confluent'。

查看更多 →

schema-registry.subject 参数来制定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，这里应该是'avro-confluent'。

查看更多 →

socket不合法。 解决办法：请检查gds与数据节点的网络连接、网络环境、节点的系统端口是否正常。 GAUSS-01376: "Unexpected EOF on GDS connection '%s': %m" SQLSTATE: XX000 错误原因：系统内部错误。与GDS端交互数据时，发生了错误。

查看更多 →

在Hive表的元数据信息界面，单击右上角的可导入数据，单击可浏览数据，单击可查看表文件的位置信息。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HD

查看更多 →

GS_TXN_SNAPSHOT GS_TXN_SNAPSHOT是“时间戳-CSN”映射表，周期性采样，并维护适当的时间范围，用于估算范围内的时间戳对应的CSN值。 表1 GS_TXN_SNAPSHOT字段 名称 类型 描述 snptime timestamp with time zone 快照捕获时间。 snpxmin

查看更多 →

Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优

查看更多 →

【示例】 # netty的服务端线程数目(-1表示默认参数numOfSlot) taskmanager.network.netty.server.numThreads -1(numOfSlot) # netty的客户端线程数目(-1表示默认参数numofSlot) taskmanager

查看更多 →