创建HetuEngine计算实例 本章节指导用户新创建HetuEngine计算实例。计算实例创建成功后，停止集群前需手动停止计算实例；重启集群后，要使用集群中的计算实例，需要手动启动计算实例。 单个租户可以创建多个计算实例，多个计算实例负载均衡，可以提高性能及容错能力（ MRS 3

查看更多 →

部署计算节点 同一个空间中的用户，在使用可信计算服务时（多方安全计算和可信联邦学习），需要部署计算节点，将数据上传，作为可信计算服务的输入，通过执行多方安全计算和可信联邦学习作业后，最终拿到结果。 计算节点以容器的形式部署，支持云容器引擎（CCE，Cloud Container

查看更多 →

部署计算节点 同一个空间中的用户，在使用可信计算服务时（多方安全计算和可信联邦学习），需要部署计算节点，将数据上传，作为可信计算服务的输入，通过执行多方安全计算和可信联邦学习作业后，最终拿到结果。 计算节点以容器的形式部署，支持云容器引擎（CCE，Cloud Container

查看更多 →

多方安全计算场景 场景描述 组合架构 可验证代码示例 父主题： 使用场景

查看更多 →

批量计算 在CCE集群中部署使用Kubeflow 在CCE集群中部署使用Caffe 在CCE集群中部署使用Tensorflow 在CCE集群中部署使用Flink 在CCE集群中部署使用ClickHouse 在CCE集群中部署使用Spark

查看更多 →

和协议差异，通过规则引擎将数据流转到OBS进行存储，还可以流转到MRS进行进一步的数据处理。 图6 分布式光伏业务架构图 分布式光伏场景参考架构如下： 端侧不同的厂家的逆变器设备通过MQTT协议上报电压，电流，功率，发电量等数据到云端。 云端IoTDA通过规则引擎将数据流转到OB

查看更多 →

让整个安全组缺少入方向规则，导致规则引擎的数据目的端不能收到设备发送的消息。 您可以通过添加入方向规则解决这个问题。如果业务场景需要规则引擎接收特定设备发送的信息，您可以添加入方向规则，将“端口范围”限定为特定设备的端口。如果业务场景需要规则引擎接收所有设备发送的信息，您可以添加

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →