Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter.scala:104) at org.apache.hudi.HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter

查看更多 →

当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。 要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--files jaas.conf,failed_tables.json --conf 'spark.driver

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

删除采集文件记录 功能介绍 删除采集文件记录。 URI URI格式 POST /softcomai/datalake/collection/v1.0/collectionRecord/deleteFileList 参数说明 无。 请求 请求样例 POST https://ip:p

查看更多 →

升级采集机。 在需要升级的采集机对应的“操作”列下，单击。 在“提示”对话框单击“确认”。 查看升级记录：在需要查看的采集机对应的采集机名称前面，单击。 下载采集机日志。 当采集机的“状态”值为“故障”时，则可以下载采集机日志,定位问题。 在采集机管理列表中需要下载采集机日志的采集机对应的“操作”列下，单击。

查看更多 →

probes参数说明 参数名 参数类型 备注 collectorStatus String 采集机状态。 name String 采集机名称。 packageName String 采集机软件包名称。 createTime String 创建时间。 nginxParas String

查看更多 →

String 数据类型。 taskId 否 String 任务ID。 strategy 是 String 采集周期。 once：一次性采集。 period：周期性采集。 interval：间隔性采集。 serviceNames 否 String 服务名称。 dataInfo 否 Object

查看更多 →

判断VPN是否打通 发送邮件 查询采集任务列表 采集任务发布数据集 查询采集任务详情 更新采集任务（数据节点） 查询采集任务状态列表 获取任务采集批次信息 获取任务批次采集信息 查询采集任务日志 删除采集文件记录 根据标签查询采集任务（数据准备） 查询采集任务状态（数据准备） 查询项目OBS信息（数据准备）

查看更多 →

查看采集结果 访问IoT边缘，单击“管理控制台”进入IoT边缘控制台。 在左侧导航栏选择“边缘节点 > 节点管理”，选择之前创建的边缘节点“test_IoT10”，单击节点进入详情页。 选择“边缘设备”页签，单击设备ID“ModbusTCP”，跳转至“ 设备接入服务 控制台”查看采集的数据。

查看更多 →

点位采集失败 点位数据类型与寄存器类型不匹配或点位未下发 点位超出有效地址范围 坏点 父主题： 常见问题

查看更多 →

查看采集结果 访问IoT边缘，单击“管理控制台”进入IoT边缘控制台。 在左侧导航栏选择“边缘节点 > 节点管理”，选择之前创建的边缘节点“test_IoT10”，单击节点进入详情页。 选择“边缘设备”页签，单击添加边缘设备中添加的设备ID“test_IoT10”，跳转至“设备接入服务控制台”查看采集的数据。

查看更多 →

查看采集结果 访问IoT边缘，单击“管理控制台”进入IoT边缘控制台。 在左侧导航栏选择“边缘节点 > 节点管理”，选择之前创建的边缘节点“test_IoT10”，单击节点进入详情页。 选择“边缘设备”页签，单击设备ID“test_IoT10”，跳转至“设备接入服务控制台”查看采集的数据。

查看更多 →

采集批次目录规范 假定对某测量空间已经完成初始建站，需要对某采集批次进行体积计算，涉及的文件OBS路径如下： 名称 变量命名 挂载路径 文件类型 采集批次文件存储路径 BATCH_OBS obs://{BUCKET_NAME}/{MEASURE_SPACE_NAME}/{COLLECT_BATCH_ID}

查看更多 →