使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（ MRS 3.x之前版本）

查看更多 →

Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

单击“配置”，选择“全部配置”。然后在搜索框中搜索spark.driver.memory和spark.executor.memory，根据作业的需要调大或者调小该值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_M

查看更多 →

搭建某商品销售数据的大屏 应用场景 数据大屏是面向企业数据消费者，将可视化和场景叙事技术结合，运行在智能设备上，非接触式连接的酷炫大屏，满足业务监控数字屏、项目会议演示屏，以及对外媒体大屏等场景，从而推动企业数据群体消费。 数据大屏常见应用场景包括活动数据监控、项目会议演示、对外接待，是DataArts

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性

查看更多 →

开发大屏 开发页面 单击导入的项目（大屏Demo），单击进入项目。 如图1所示，单击“指挥看板”，进入页面。 图1 进入页面 单击“编辑页面”，进入页面的编辑状态，如图2所示。 图2 编辑状态 在模板页面中，删除组件。 按照规划，删除不要的组件，选择组件，右击鼠标，在弹出的下拉菜单中选择“删除”。

查看更多 →

在左侧导航树中，单击，选择“安全与合规 > 数据安全中心”。 在左侧导航树中，选择“数据安全运营 > 态势大屏”，进入“态势大屏”界面，如图1所示。 图1 态势大屏 单击“综合态势大屏”图片，进入“综合态势大屏”界面，如图2所示。 页面中各个模块的功能介绍和使用方法详见下述内容。 图2 综合态势大屏 安全评分

查看更多 →

已保存大屏。 发布大屏步骤 登录智能数据洞察控制台。 单击管理控制台左上角的，选择区域。 单击左下角的企业项目选择企业项目。 在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击未发布的大屏，进入编辑页面。

查看更多 →

的offset变小。 如果Spark Streaming应用一直在运行，由于Kafka上topic的offset变小，会导致读取Kafka数据的起始位置比结束位置大，这样将无法从Kafka读取数据，应用报错。 如果在重启Kafka服务前，先停止Spark Streaming应用，等Kafka重启后，再重启Spark

查看更多 →

运营大屏 所有可进行模糊查询的可视化应用都支持“%”和“_”通配查询，若需要指定查询，请加上“\”进行转义。 操作步骤 单击主菜单的“可视化”，默认进入“运营大屏”页面。 大屏详细说明可参见表1。 选择进入需要查看的大屏。 单击“导出”按钮可将大屏的数据导出至本地查看。 表1 可视化运营大屏

查看更多 →

，不但耗时，还使任务变得很大。 每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadcast到每个节点，让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点，从而就可以把join操作转变成普通的操作，减少了shuffle操作。

查看更多 →

访问。 如果遇到上述问题，可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面，即可查看到正确的页面信息。 如果用户场景需要同时访问50个以上的Spark应用时，需要调大“spark.history.retainedApplications”参数的值。

查看更多 →

，不但耗时，还使任务变得很大。 每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadcast到每个节点，让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点，从而就可以把join操作转变成普通的操作，减少了shuffle操作。

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →