Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

/hadoop export SPARK_CONF_DIR=/opt/cloudera/parcels/CDH/lib/spark/conf export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark export HADOOP_C

查看更多 →

Server在开启分布式事务的时候已经启动MSDTC，其他 服务器 请参考设置 远程服务器 MSDTC（分布式事务处理协调器）进行启动。 更多介绍请参见Microsoft SQL Server官网MS DTC 分布式事务介绍。 使用限制 新实例默认开启分布式事务。 只读实例不支持分布式事务。 分布式事务功能一旦开启，将不允许关闭。

查看更多 →

分布式身份（公测） 概述 分布式身份(DID)管理 可验证凭证(VC)管理 父主题： 区块链 中间件接口

查看更多 →

apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模式下，应

查看更多 →

将 GaussDB 分布式版同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式 GaussDB分布式 说明： 仅支持目标库版本等于或高于源库版本。 支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同

查看更多 →

Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

规则日志 规则日志功能是平台规则引擎的规则任务执行记录的历史记录查询功能。 删除规则日志 支持多选删除。 操作步骤：在左侧导航栏单击【规则引擎】模块展开子级菜单导航，选择【规则引擎>规则日志】，进入规则日志查询界面，在规则日志列表勾选需要删除的日志记录，单击“删除”按钮，弹出删除

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

让整个安全组缺少入方向规则，导致规则引擎的数据目的端不能收到设备发送的消息。 您可以通过添加入方向规则解决这个问题。如果业务场景需要规则引擎接收特定设备发送的信息，您可以添加入方向规则，将“端口范围”限定为特定设备的端口。如果业务场景需要规则引擎接收所有设备发送的信息，您可以添加

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用

查看更多 →

。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。 表格存储服务 CloudTable相关介绍请参考《 表格存储 服务产品介绍》。 云搜索服务 CSS相关介绍请参考《 云搜索 服务产品介绍》。 分布式缓存服务DCS相关介绍请参考《分布式缓存服务产品介绍》。

查看更多 →

将GaussDB分布式版同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式 GaussDB分布式 说明： 仅支持目标库版本等于或高于源库版本。 支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同

查看更多 →

Hive 分布式 数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合 7% Loader 数据转换 5% Kafka分布式消息订阅系统

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →