已创建 弹性云服务器 ，创建弹性 云服务器 的方法，请参见《弹性云 服务器 快速入门》中“创建弹性云服务器”章节。 弹性云服务器上已经安装Spark环境。 操作步骤 获取GeminiDB Cassandra实例的内网IP地址、端口。 内网IP地址和端口的获取方法请参见查看IP地址和端口。 登录弹性云服务器，具体操作

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

查看求交结果 隐私求交作业执行完成后，企业A可以通过单击“历史作业 > 查看结果”看到隐私求交作业的运行结果，包括交集的大小和交集文件的路径。 打开obs到指定目录下查看，可以看到有两个结果文件，其中一个是交集记录的序号alignedIds.csv，另一个是交集记录的id alignedOriginalIds

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击 MRS 集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

取打包后的jar文件。 例如打包后的jar文件为“SparkStreamingKafka010JavaExample-1.0.jar”。 步骤3：上传jar包及源数据 准备向Kafka发送的源数据，例如如下的“input_data.txt”文件，将该文件上传到客户端节点的“/home/data”目录下。

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

K10 大型客车 K11 大型普通客车 K12 大型双层客车 K13 大型卧铺客车 K14 大型铰接客车 K15 大型越野客车 K16 大型轿车 K17 大型专用客车 K20 中型客车 K21 中型普通客车 K22 中型双层客车 K23 中型卧铺客车 K24 中型铰接客车 K25 中型越野客车

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

Spark Spark应用开发规则 Spark应用开发建议

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN Cluster和YARN

查看更多 →

if SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for

查看更多 →