使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

init-node # 安装K8S集群环境 bash kops-tools.sh kube-manage install # 私有镜像仓库安装 bash kops-tools.sh registry install 部署产品服务 # 方式一： # 执行镜像load动作，安装前会load本地镜像并且推送到配置的镜像仓库

查看更多 →

安装 企业智慧屏是否可以挂在外面做广告屏使用？ 产品安装尺寸问题？ 企业智慧屏挂墙安装的要求？ 企业智慧屏后背的孔距是多少，是否可使用客户自己的移动支架？ 企业智慧屏可以连公司局域网吗，用户涉及保密问题，不能连互联网，只能连公司内部局域网？ 父主题： 产品规格

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

在Linux上安装Data Provider 安装Data Provider，SAP技术支持人员通过该软件收集 云服务器 所在的平台信息，以便在SAP系统故障、性能下降时进行定位和分析。 在Windows上安装Data Provider 安装Data Provider，SAP技术支持

查看更多 →

安装 普通安装 静默安装 国产化版本安装 父主题： 安装说明

查看更多 →

已创建弹性云 服务器 ，创建弹性云服务器的方法，请参见《弹性云服务器快速入门》中“创建弹性云服务器”章节。 弹性云服务器上已经安装Spark环境。 操作步骤 获取GeminiDB Cassandra实例的内网IP地址、端口。 内网IP地址和端口的获取方法请参见查看IP地址和端口。 登录弹性云服务器，具体操作

查看更多 →

安装客户端（3.x及之后版本） 操作场景 该操作指导用户在 MRS 集群创建成功后安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。 修改集群内组件的服务端配置后，建议重新

查看更多 →

购买弹性云服务器并安装SAP HANA 您必须先安装SAP HANA，然后才能安装 Backint Agent。如需在华为云上安装 SAP HANA，请参阅SAP HANA 选择具体场景安装SAP HANA。 您必须在一台Windows机器上安装 SAP HANA Studio 或

查看更多 →

云服务器安装Cloud-Init可以做什么？ Cloud-Init可以对新创建的云服务器中指定的自定义信息（主机名、密钥和用户数据等）进行初始化配置。 安装方法 建议您在使用备份恢复服务器后先安装Cloud-Init/Cloudbase-Init，安装方法如下： 如果是Windo

查看更多 →

tables; 图3 Spark2x验证返回已创建的表名 使用“Ctrl + C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件： vim 客

查看更多 →

在弹性云服务器上安装MySQL 使用root登录刚创建的弹性云服务器，然后进行MySQL安装操作： 确保服务器系统处于最新状态 yum -y update 如果显示以下内容说明已经更新完成 Replaced: grub2.x86_64 1:2.02-0.64.el7.centos

查看更多 →

行的云服务器进行配置和管理。不安装Cloud-Init工具，将无法对云服务器进行自定义配置，只能使用镜像原有密码登录云服务器。 安装方法 建议您在创建私有镜像前先安装Cloud-Init/Cloudbase-Init，安装方法如下： 如果是Windows操作系统，请下载并安装Cloudbase-Init。

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

export SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →