Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（ MRS 3.x之前版本）

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在 服务器 上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

Scripts 配置及脚本 1） Global.yaml：配置服务器节点的必要参数 2） Check-env.sh：部署前环境检查工作 3） Install-kubernetesinstall.sh：安装基础环境脚本 4） Auto-service.sh：完成产品一键部署 MENIFEST

查看更多 →

部署安装 配置文件许可 远程登录弹性 云服务器 ，在根目录/opt下新建文件夹： mikdir /opt/SuperMap/License 上传许可文件至此目录下。 安装依赖库 将获取到的 SuperMap iServer 安装包复制到 Linux 操作系统计算机的某个目录下，例如 /home/map/SuperMap

查看更多 →

tar.gz 配置环境 进入解压后的目录 cd supermap-imanager-for-kubernetes 打开配置环境变量，所有变量均设有默认值，可保持不变或根据实际环境更改，配置完成后保存并退出 sudo vi .env 图1 配置环境 执行部署命令，安装iManager

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。

查看更多 →

集群外部节点：用户可以将客户端安装在集群外部节点上，详情请参见集群外节点使用MRS客户端章节，登录安装客户端的节点。 使用Spark客户端 登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

仅“脚本类型”配置为“在线脚本”时可以配置。 选择已创建的Spark Python脚本。 脚本参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。 关联的Spark Python脚本中如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。 运行程序参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。

查看更多 →