batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

开发大屏 开发页面 单击导入的项目（大屏Demo），单击进入项目。 如图1所示，单击“指挥看板”，进入页面。 图1 进入页面 单击“编辑页面”，进入页面的编辑状态，如图2所示。 图2 编辑状态 在模板页面中，删除组件。 按照规划，删除不要的组件，选择组件，右击鼠标，在弹出的下拉菜单中选择“删除”。

查看更多 →

已保存大屏。 发布大屏步骤 登录智能数据洞察控制台。 单击管理控制台左上角的，选择区域。 单击左下角的企业项目选择企业项目。 在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击未发布的大屏，进入编辑页面。

查看更多 →

在左侧导航树中，单击，选择“安全与合规 > 数据安全中心”。 在左侧导航树中，选择“数据安全运营 > 态势大屏”，进入“态势大屏”界面，如图1所示。 图1 态势大屏 单击“综合态势大屏”图片，进入“综合态势大屏”界面，如图2所示。 页面中各个模块的功能介绍和使用方法详见下述内容。 图2 综合态势大屏 安全评分

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性

查看更多 →

搭建某商品销售数据的大屏 应用场景 数据大屏是面向企业数据消费者，将可视化和场景叙事技术结合，运行在智能设备上，非接触式连接的酷炫大屏，满足业务监控数字屏、项目会议演示屏，以及对外媒体大屏等场景，从而推动企业数据群体消费。 数据大屏常见应用场景包括活动数据监控、项目会议演示、对外接待，是DataArts

查看更多 →

单击“配置”，选择“全部配置”。然后在搜索框中搜索spark.driver.memory和spark.executor.memory，根据作业的需要调大或者调小该值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_M

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

大屏所展现的数据如何获取到本地？ 可通过对接开放API或大屏所提供的报告导出功能获取相关大屏数据。对接API的具体方法可参见最佳实践中的如何调用API。 父主题： 其他使用相关

查看更多 →

，不但耗时，还使任务变得很大。 每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadcast到每个节点，让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点，从而就可以把join操作转变成普通的操作，减少了shuffle操作。

查看更多 →

在协同授权配置页面编辑大屏权限。 选择授予的权限。 编辑授权：打开后可赋予成员编辑权限，支持创建、编辑、替换和删除大屏，同时支持基于大屏进行数据分析。 开启大屏的编辑权限，默认关联开启大屏的使用/查看权限。 导出授权：打开后可赋予成员使用权限。支持对大屏的分析，同时支持基于大屏进行数据分析。

查看更多 →

Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨

查看更多 →