已创建 弹性云服务器 ，创建弹性 云服务器 的方法，请参见《弹性云 服务器 快速入门》中“创建弹性云服务器”章节。 弹性云服务器上已经安装Spark环境。 操作步骤 获取GeminiDB Cassandra实例的内网IP地址、端口。 内网IP地址和端口的获取方法请参见查看IP地址和端口。 登录弹性云服务器，具体操作

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

查看求交结果 隐私求交作业执行完成后，企业A可以通过单击“历史作业 > 查看结果”看到隐私求交作业的运行结果，包括交集的大小和交集文件的路径。 打开obs到指定目录下查看，可以看到有两个结果文件，其中一个是交集记录的序号alignedIds.csv，另一个是交集记录的id alignedOriginalIds

查看更多 →

不支持对Hive Ranger策略中的“Deny Conditions”进行级联授权，即“Deny Conditions”的权限仅限制表权限，不能生成HDFS存储源端的权限。 级联授权生成的HDFS存储源端的权限弱于HDFS Ranger策略的权限，即如果已经对表的HDFS存储源设置了HDFS

查看更多 →

查看表Location 进入spark bin目录： cd 客户端安装目录/Spark2x/spark/bin 执行./spark-shell登录spark-shell命令行。 在spark-shell命令行执行以下命令查询5.b创建的表数据： spark.read.format("parquet")

查看更多 →

关键字，系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error

查看更多 →

K10 大型客车 K11 大型普通客车 K12 大型双层客车 K13 大型卧铺客车 K14 大型铰接客车 K15 大型越野客车 K16 大型轿车 K17 大型专用客车 K20 中型客车 K21 中型普通客车 K22 中型双层客车 K23 中型卧铺客车 K24 中型铰接客车 K25 中型越野客车

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机 域名 的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击 MRS 集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

通知Driver（绿色箭头） 接收块中的元数据（Metadata）被发送到Driver的StreamingContext。这个元数据包括： 定位其在Executor内存中数据位置的块Reference ID。 若启用了WAL，还包括块数据在日志中的偏移信息。 处理数据（红色箭头） 对每个批次的数据，Str

查看更多 →

地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JD BCS erver连接的超时时间，可以避免客户

查看更多 →

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDB CS erver连接的超时时间，可以避免客户

查看更多 →