Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。 jackson-*.jar 执行Spark程序时报错： com.fasterxml.jackson

查看更多 →

100000 = 10^11个shuffle文件）。如果磁盘文件数量特别巨大，对文件读写的性能会带来比较大的影响，此外由于同时打开的文件句柄数量多，序列化以及压缩等操作需要占用非常大的临时内存空间，对内存的使用和GC带来很大的压力，从而容易造成Executor无法响应Driver。 因此，建议使用Sort

查看更多 →

100000 = 10^11个shuffle文件）。如果磁盘文件数量特别巨大，对文件读写的性能会带来比较大的影响，此外由于同时打开的文件句柄数量多，序列化以及压缩等操作需要占用非常大的临时内存空间，对内存的使用和GC带来很大的压力，从而容易造成Executor无法响应Driver。 因此，建议使用Sort

查看更多 →

检测网站交互流量中是否存在弱密码传输行为。 反序列化攻击检测 反序列化是指把字节序列恢复为对象的过程，如果Web应用在进行反序列化时接收用户输入的数据，且缺少对输入数据必要的验证，那么攻击者可以通过构造恶意输入，让反序列化产生非预期的对象，导致任意代码执行。算法基于反序列化攻击中的恶意流量特征进行检测，并支持攻击成功判定。

查看更多 →

Kryo Kryo是一个非常高效的Java序列化框架，Spark中也默认集成了该框架。几乎所有的Spark性能调优都离不开将Spark默认的序列化器转化为Kryo序列化器的过程。目前Kryo序列化只支持Spark数据层面的序列化，还不支持闭包的序列化。设置Kryo序列元，需要将配置项“spark

查看更多 →

Kryo Kryo是一个非常高效的Java序列化框架，Spark中也默认集成了该框架。几乎所有的Spark性能调优都离不开将Spark默认的序列化器转化为Kryo序列化器的过程。目前Kryo序列化只支持Spark数据层面的序列化，还不支持闭包的序列化。设置Kryo序列元，需要将配置项“spark

查看更多 →

发布团队常用编程语言的安全编码规范。通用的安全编码规范应包含程序输入校验、程序输出编码、身份验证、访问控制、安全加解密算法、异常处理、IO操作、文件上传、序列化、输出格式化等。 对于在Web应用场景使用的语言如Java、Python，还要考虑安全会话管理、防SQL注入、防跨站脚本攻击XSS、防跨站请求伪造 CS RF等编码规范。

查看更多 →

Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo object 序列化/反序列化信息。 parameters Map<String,String> 存储描述符的参数。 key最小长度为1，最大长度为255。 value最大长度为4000

查看更多 →

java_import from pyspark.sql import SparkSession # 创建SparkSession，设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")

查看更多 →

java_import from pyspark.sql import SparkSession # 创建SparkSession，设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")

查看更多 →

java_import from pyspark.sql import SparkSession # 创建SparkSession，设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")

查看更多 →

是否是AbortHint。 hint_string text Hint文本。 hint_node pg_node_tree Hint解析&序列化的结果。 original_query text 原始语句（预留字段）。 patched_query text PATCH之后的语句（预留字段）。

查看更多 →

getCsrfToken：通过ajax的方式去调用平台的接口时使用。如果使用平台桥接器的方式，平台会自动在请求header中，添加csrf-token头。 HttpUtils.getCsrfToken(function(csrfToken) { $.ajax({ ….

查看更多 →

java_import from pyspark.sql import SparkSession # 创建SparkSession，设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")

查看更多 →

是否是AbortHint。 hint_string text Hint文本。 hint_node pg_node_tree Hint解析&序列化的结果。 original_query text 原始语句（预留字段）。 patched_query text PATCH之后的语句（预留字段）。

查看更多 →

是否是AbortHint。 hint_string text Hint文本。 hint_node pg_node_tree Hint解析&序列化的结果。 original_query text 原始语句（预留字段）。 patched_query text PATCH之后的语句（预留字段）。

查看更多 →

是否是AbortHint。 hint_string text Hint文本。 hint_node pg_node_tree Hint解析&序列化的结果。 original_query text 原始语句（预留字段）。 patched_query text PATCH之后的语句（预留字段）。

查看更多 →

of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo object 序列化/反序列化信息。 parameters 是 Map<String,String> 存储描述符的参数。 key最小长度为1，最大长度为255。 value最大长度为4000

查看更多 →

11）：JS实用工具库。 uuid ：生成UUID。 moment（v2.22.2）：日期处理库 (不含 locales)。 mockjs：模拟数据生成，拦截Ajax请求。 csv-parse/lib/sync（ v1.2.4）：处理CSV格式数据。 iconv-lite：用于字符编码转换，支持数十种字符编码格式的转换。

查看更多 →

RMURHASH分布。 diskeyexprs pg_node_tree diskey通过pack_node_to_string()函数序列化得到的字符串信息。 父主题： 其他系统表

查看更多 →

中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。 每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadcast到每个节点，让每个节点在本地都保存一份。

查看更多 →