MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

编辑大屏 本章节通过一个简单的示例向您介绍如何编辑大屏。 大屏开发页面总览 登录 DLV 控制台，在“我的大屏”页面，找到需要编辑的大屏，将鼠标移至该大屏图标上，然后单击编辑按钮进入大屏开发页面。 在大屏开发页面中，您可以根据业务需求设计和开发大屏，完成添加组件、页面布局、关联数据源和发布大屏等操作。

查看更多 →

单击“登录”，进入沙箱环境，如图8所示。 图8 沙箱环境 部署大屏到沙箱环境 示例中以导入方式为例，部署大屏应用到沙箱环境，以便于测试该大屏。 登录沙箱环境，如图9所示，单击“DMAX”，进入业务大屏。 图9 进入业务大屏 如图10所示，单击“导入项目包”。 图10 导入项目包 选择导出的本地项目包。

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性

查看更多 →

单击“配置”，选择“全部配置”。然后在搜索框中搜索spark.driver.memory和spark.executor.memory，根据作业的需要调大或者调小该值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_M

查看更多 →

搭建某商品销售数据的大屏 应用场景 数据大屏是面向企业数据消费者，将可视化和场景叙事技术结合，运行在智能设备上，非接触式连接的酷炫大屏，满足业务监控数字屏、项目会议演示屏，以及对外媒体大屏等场景，从而推动企业数据群体消费。 数据大屏常见应用场景包括活动数据监控、项目会议演示、对外接待，是DataArts

查看更多 →

的offset变小。 如果Spark Streaming应用一直在运行，由于Kafka上topic的offset变小，会导致读取Kafka数据的起始位置比结束位置大，这样将无法从Kafka读取数据，应用报错。 如果在重启Kafka服务前，先停止Spark Streaming应用，等Kafka重启后，再重启Spark

查看更多 →

，不但耗时，还使任务变得很大。 每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadcast到每个节点，让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点，从而就可以把join操作转变成普通的操作，减少了shuffle操作。

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

开发大屏 开发页面 单击导入的项目（大屏Demo），单击进入项目。 如图1所示，单击“指挥看板”，进入页面。 图1 进入页面 单击“编辑页面”，进入页面的编辑状态，如图2所示。 图2 编辑状态 在模板页面中，删除组件。 按照规划，删除不要的组件，选择组件，右击鼠标，在弹出的下拉菜单中选择“删除”。

查看更多 →

在左侧导航树中，单击，选择“安全与合规 > 数据安全中心”。 在左侧导航树中，选择“数据安全运营 > 态势大屏”，进入“态势大屏”界面，如图1所示。 图1 态势大屏 单击“综合态势大屏”图片，进入“综合态势大屏”界面，如图2所示。 页面中各个模块的功能介绍和使用方法详见下述内容。 图2 综合态势大屏 安全评分

查看更多 →

已保存大屏。 发布大屏步骤 登录智能数据洞察控制台。 单击管理控制台左上角的，选择区域。 单击左下角的企业项目选择企业项目。 在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击未发布的大屏，进入编辑页面。

查看更多 →