Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

准备Spark应用Python开发环境 操作场景 Python开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Python开发环境，直接使用Editra编辑器（或其他编写Python应用程序的IDE）即可。 下载客户端样例配置程序到本地开发环境。

查看更多 →

快速搭建大屏（交互功能） 用户可以通过交互功能实现大屏内组件间数据联动。 本示例通过地理搜索、柱状图，演示如何实现组件之间数据联动。基本流程如下： 添加和配置组件 预览和发布大屏 前提条件 已登录 DLV 控制台，并使用空白模板创建一个大屏。 添加和配置组件 打开大屏开发页面，在左侧组件中心，选择“交互

查看更多 →

硅基数字人直播搭建 图1 图示1 实施步骤介绍 直播主题确定：根据业务的具体需要，客户确定好直播主题，比如说带货直播还是招生直播等。 模特选择：基于上述直播主题的确定，选择对应的数字人主播，主播选择可以是库里已经有的，也可以是前面已经帮客户定制好的数字人模特。 背景选择：基于上述

查看更多 →

搭建emobile运行环境 E CS 服务器购买，选型 操作系统选择Centos7.9，安全组使用默认安全组，端口提前开通好80,443,5222,7070,8999端口 图1 选型1 图2 选型2 服务器 磁盘挂载 本操作以该场景为例，当 弹性云服务器 挂载了一块新的数据盘时，使用fdi

查看更多 →

步骤四：搭建网站 Solution as Code一键式部署您可以选择华为云搭建您的网站，华为云提供丰富的建站资源和建站方式，如表1所示。 表1 建站方式 建站方式 特点 适用场景 自助建站 部署时间长，过程复杂，需要自行购买服务器、搭建并维护网站，可以满足个性化的部署需求。 适

查看更多 →

搭建Jenkins和Gitlab环境 前提条件 创建一个新的VPC，本示例中名为vpc-X，所使用网段为192.168.0.0/16。 创建一台位于vpc-X（192.168.0.0/16网段）的ECS服务器，推荐规格为4vCPUs 16GiB，系统为Huawei Cloud EulerOS

查看更多 →

搭建专线或VPN连接 使用专线迁移配置进行迁移时，需要源端服务器和华为云通过专线/VPN等方式打通，再借助代理服务器去访问所需云服务。因此在配置代理服务器之前，需要先完成源端服务器与华为云的专线搭建或VPN连接。 关于专线搭建请参考云专线帮助文档或咨询云专线服务。 关于VPN连接

查看更多 →

按Esc键退出编辑模式，并输入:wq保存后退出。 使用浏览器访问“http://服务器IP地址/info.php”，显示如下页面，说明环境搭建成功。 父主题： 搭建LNMP环境

查看更多 →

ecutor崩溃。 在Yarn cluster模式下，当Spark程序客户端退出后，程序自动被停掉。 优化了当carbon表的segments很多时，执行delete语句慢的问题。 长时间运行的spark作业，执行spark SQL时出现GSS initiate failed错误。

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →