Java样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

java样例代码 开发说明 本样例只适用于 MRS 的OpenTSDB。 前提条件 在 DLI 管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖探索 用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。

查看更多 →

SparkSession; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream;

查看更多 →

spark.SparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.Dataset;

查看更多 →

生效。 udf_memory_limit是max_process_memory的一部分。每个CN、DN启动时，会预留（udf_memory_limit - 200MB）内存供UDF Worker进程使用。CN、DN和UDF Worker是不同的进程，但CN、DN自动少用一部分内存，把这部分内存节省下来供UDF

查看更多 →

java.sql.DatabaseMetaData java.sql.DatabaseMetaData是数据库对象定义接口。 表1 对java.sql.DatabaseMetaData的支持情况 方法名 返回值类型 支持JDBC 4 getTables(String catalog

查看更多 →

java.sql.PreparedStatement java.sql.PreparedStatement是预处理语句接口。 表1 对java.sql.PreparedStatement的支持情况 方法名 返回值类型 支持JDBC 4 clearParameters() void

查看更多 →

Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String

查看更多 →

java.sql.PreparedStatement java.sql.PreparedStatement是预处理语句接口。 表1 对java.sql.PreparedStatement的支持情况 方法名 返回值类型 支持JDBC 4 clearParameters() void

查看更多 →

java.sql.CallableStatement java.sql.CallableStatement是存储过程执行接口。 表1 对java.sql.CallableStatement的支持情况 方法名 返回值类型 支持JDBC 4 getArray(int parameterIndex)

查看更多 →

java.sql.CallableStatement java.sql.CallableStatement是存储过程执行接口。 表1 对java.sql.CallableStatement的支持情况 方法名 返回值类型 支持JDBC 4 getArray(int parameterIndex)

查看更多 →

java.sql.PreparedStatement java.sql.PreparedStatement是预处理语句接口。 表1 对java.sql.PreparedStatement的支持情况 方法名 返回值类型 支持JDBC 4 clearParameters() void

查看更多 →

java.sql.DatabaseMetaData java.sql.DatabaseMetaData是数据库对象定义接口。 表1 对java.sql.DatabaseMetaData的支持情况 方法名 返回值类型 支持JDBC4 allProceduresAreCallable()

查看更多 →

void Yes 通过setFetchSize可以减少结果集在客户端的内存占用情况。它的原理是通过将结果集打包成游标，然后分段处理，所以会加大数据库与客户端的通信量，但会有性能损耗。 由于数据库游标是事务内有效，所以，在设置setFetchSize的同时，需要将连接设置为非自动提交模式

查看更多 →

使用SDK（Java） Java开发环境配置 SDK获取和安装 SDK调用示例

查看更多 →

tryPolicy，用户也可以根据业务自行定制重试策略。 Session会话。 正常情况下，session和keyspace是不绑定的，所以在查询的时候是需要指定表的keyspace的，如下所示： Session session = cluster.connect(); session

查看更多 →

i < length; i++) { // 字母和数字中随机 if (random.nextInt(2) % 2 == 0) { // 输出是大写字母还是小写字母 int letterIndex = random.nextInt(2) % 2 == 0 ? 65 : 97; randomCharsBuf

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《 数据湖 探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果是开启https访问场景，在创建Spark作业时，需要同时上传依赖文件“hadoop-site.xml”，上传依赖文件的界面位置如图1所示。“hadoop-site

查看更多 →

Java样例代码 功能简介 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。 代码样例 下面代码片段仅为演示，具体代码参见SparkOnHbaseJavaExample： 样例：创建HBase表 public class TableCreation

查看更多 →

Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

* <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举，制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表 * <batchTime>是Spark Streaming批次持续时间（以秒为单位）。

查看更多 →