在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

RDS跨地域内网能访问吗 跨地域内网默认不能访问，不同区域的云服务之间内网互不相通。您可以通过公网访问，或者通过云连接/VPN打通网络实现内网访问。 弹性公网IP：不能通过内网IP地址访问RDS实例时，可以使用公网访问。 对于RDS for MySQ L实例 ，请参见使用MySQL命令行公网连接实例。

查看更多 →

Driver gsjdbc200.jar driver=com.huawei.gauss200.jdbc.Driver 排查数据库连接地址，将其修改为正确的数据库连接地址。 gsjdbc4.jar对应jdbc:postgresql://host:port/database gsjdbc200

查看更多 →

关系数据库连接 介绍 通过JDBC连接，可以对以下关系型数据库抽取、加载数据： 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {

查看更多 →

数据库连接控制函数 数据库连接控制函数控制与数据库 服务器 的连接。一个应用程序一次可以与多个服务器建立连接，如一个客户端连接多个数据库的场景。每个连接都是用一个从函数PQconnectdb、PQconnectdbParams或PQsetdbLogin获得的PGconn对象表示。注意

查看更多 →

数据库连接控制函数 数据库连接控制函数控制与 GaussDB 服务器的连接。一个应用程序一次可以与多个服务器建立连接，如一个客户端连接多个数据库的场景。每个连接都是用一个从函数PQconnectdb、PQconnectdbParams或PQsetdbLogin获得的PGconn对象表

查看更多 →

关闭数据库连接 数据库使用完成后关闭数据库连接。 使用如下语句关闭连接： EXEC SQL DISCONNECT [connection]; connection可通过如下方法声明： connection-name（连接名） default（缺省） current（当前） all（所有）

查看更多 →

管理数据库连接 本章节介绍如何建立以及切换数据库连接。 连接数据库 管理连接 父主题： 基于ecpg开发

查看更多 →

探索API参考》。 多数据源分析： Spark跨源连接：可通过 DLI 访问CloudTable，DWS，RDS和 CSS 等数据源。具体内容请参考《 数据湖探索 用户指南》。 Flink跨源支持与多种云服务连通，形成丰富的流生态圈。 数据湖 探索的流生态分为云服务生态和开源生态： 云服务生态：数据湖探索在Flink

查看更多 →

spark-cassandra-connector 2.5.1 spark 2.5.1 开源Cassandra 3.11 scala 2.12 用户：user1（rwuser用户创建） 可能原因 user1用户无keyspace system查询权限。 spark版本问题。 解决方案

查看更多 →

生态系统，实现高级流处理逻辑和状态管理。 发布区域：全部 使用DLI提交Flink OpenSource SQL作业 使用DLI提交Flink Jar作业 OBS 2.0支持跨源连接 在使用DLI进行跨源分析前，需要先建立跨源连接，打通数据源之间的网络。 DLI增强型跨源连接底层

查看更多 →

前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2

查看更多 →

自定义算子开发完成后，离线模型生成器需要支持将自定义算子的属性值转换到离线模型，在离线模型执行阶段能够支持自定义算子的执行，所以用户需要开发自定义算子插件，进行算子属性的解析、形状类别的推断，并通过离线模型生成器提供的注册机制完成自定义算子的注册。

查看更多 →

自定义算子开发完成后，离线模型生成器需要支持将自定义算子的属性值转换到离线模型，在离线模型执行阶段能够支持自定义算子的执行，所以用户需要开发自定义算子插件，进行算子属性的解析、形状类别的推断，并通过离线模型生成器提供的注册机制完成自定义算子的注册。

查看更多 →

若需要将多张图片编码成一个视频，则调用一次CreateVenc接口创建实例后，必须使用同一个实例调用RunVenc接口进行视频编码，最后再调用一次DestroyVenc接口释放实例。本调用示例是调用VENC接口将yuv图片编码成h265或者h264格式的码流。

查看更多 →

当前Spark作业支持访问的外部数据源详情请参考跨源分析开发方式。 创建跨源连接操作请参见增强型跨源连接。 创建完跨源连接后，可以通过“资源管理 > 队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 操作步骤 在DLI管理控制

查看更多 →

计数据，将统计结果写入kafka中。 sparksecurity-examples/StructuredStreamingStateScalaExample 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束times

查看更多 →

数据库连接池 这里的连接池配置包括CMS服务程序、交易程序及门户后台程序的配置，请根据实际服务器需要，调整、删减相关的配置。 修改配置文件： #vi /dat/www/jboss-4.0.3/server/default/deploy/oracle-ds.xml 图1 修改配置文件

查看更多 →

关系数据库连接 介绍 通过JDBC连接，可以对以下关系型数据库抽取、加载数据： 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {

查看更多 →

数据库连接控制函数 数据库连接控制函数控制与GaussDB服务器链接的事情。一个应用程序一次可以与多个服务器建立链接，如一个客户端链接多个数据库的场景。每个链接都是用一个从函数PQconnectdb、PQconnectdbParams或PQsetdbLogin获得的PGconn对

查看更多 →