runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread

查看更多 →

Studio执行调度时，报错提示“作业没有可以提交的版本”怎么办？ DataArts Studio 执行调度时，报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办？ 提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？ 如何创建数据库和数据表，数据库对应的是不是数据连接

查看更多 →

Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明

查看更多 →

Java Java客户端接入示例 Java开发环境搭建

查看更多 →

LargeFileUploadDemo.java HttpClientDemo.java 引用类: Constant.java SSLCipherSuiteUtil.java UnsupportProtocolException.java IDEA的配置方式 支持以下几种配置方式，用户可根据业务需求选择。

查看更多 →

Element; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.security.MessageDigest; import java.time.LocalDateTime;

查看更多 →

可使用原生Base64类 import java.util.Base64; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.UUID;

查看更多 →

Java 公共要求 代码样例 父主题： 语音验证码代码样例

查看更多 →

MRS Spark数据连接参数说明 表1 MRS Spark数据连接 参数 是否必选 说明 数据连接类型 是 MRS Spark连接固定选择为 MapReduce服务 （MRS Spark）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。

查看更多 →

SparkSQL”，然后配置相关参数。 图2 新建MRS SparkSQL数据连接 连接MRS SparkSQL时，相关参数如表1所示。 表1 MRS SparkSQL数据连接参数 参数名 说明 名称 数据连接的名称，只能包含英文字母、中文、数字、“-”、“_”，且长度为1~32个字符。 集群名 选择可用的MRS集群。

查看更多 →

创建SparkPack 企业ERP连接 前提：需先创建至少一个执行动作并发布后才能创建连接，见3.3封装接口 步骤1 集成工作台 -连接器-连接-创建连接-输入鉴权信息 把SparkPack 企业ERP连接器基于实际使用的SparkPack 企业ERP地址和鉴权信息维护到连接上。 父主题：

查看更多 →

创建SparkPack 企业ERP连接 前提：需先创建至少一个执行动作并发布后才能创建连接，见3.3封装接口 步骤1 集成工作台-连接器-连接-创建连接-选择连接器 把SparkPack 企业ERP连接器基于实际使用的SparkPack 企业ERP地址和鉴权信息维护到连接上。 父主题：

查看更多 →

Launcher提交作业的Java/Scala示例程序。 本工程应用程序通过org.apache.spark.launcher.SparkLauncher类采用Java/Scala命令方式提交Spark应用。 SparkLauncherScalaExample SparkOnHbaseJavaExample

查看更多 →

DDM实例连接失败怎么办 报错信息：User has no databases 报错原因：DDM账号没有关联逻辑库。 解决方法：在DDM控制台实例详情页面，单击左侧导航栏的账号管理，将此DDM账号与逻辑库相关联。 父主题： 连接管理

查看更多 →

将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，使用java -cp命令运行代码（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Java样例代码： java -cp $SPARK_HOME

查看更多 →

runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread

查看更多 →

Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出

查看更多 →

使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JD BCS erver已启动。然后在Spark2x客户端，使用Spark-Beeline工具执行如下操作。 使用Spark-Beeline工具创建Spark表table1。 create

查看更多 →

Exception { SparkConf conf = new SparkConf().setAppName("SparkHbasetoHbase"); conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");

查看更多 →

Exception { SparkConf conf = new SparkConf().setAppName("SparkHbasetoHbase"); conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");

查看更多 →

// 通过spark接口获取表中的数据 SparkConf conf = new SparkConf().setAppName("SparkHivetoHbase"); JavaSparkContext jsc = new JavaSparkContext(conf);

查看更多 →