Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

什么是自动学习？ 自动学习功能可以根据标注的数据自动设计模型、自动调参、自动训练、自动压缩和部署模型，不需要代码编写和模型开发经验。 自动学习功能主要面向无编码能力的用户，其可以通过页面的标注操作，一站式训练、部署，完成AI模型构建。 父主题： 功能咨询

查看更多 →

Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

状态码： 200 新建联邦学习作业成功 { "job_id" : "c098faeb38384be8932539bb6fbc28d3" } 状态码 状态码 描述 200 新建联邦学习作业成功 401 操作无权限 500 内部 服务器 错误 父主题： 可信联邦学习作业管理

查看更多 →

删除联邦学习作业 功能介绍 删除联邦学习作业 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/leagues/{league_id}/fl-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是

查看更多 →

可信联邦学习作业 概述 创建横向训练型作业 横向联邦训练作业对接MA 创建横向评估型作业 创建纵向联邦学习作业 执行作业 查看作业计算过程和作业报告 删除作业 安全沙箱机制

查看更多 →

如何在DLI中运行复杂PySpark程序？ 数据湖探索 （DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py

查看更多 →

查询并导出课程学习记录 前提条件 用户具有“查询课程记录”权限 操作步骤： 登录ISDP系统，选择“作业人员->学习管理->学习记录”，查询课程学习记录 点击顶部“课程学习记录”可以在这里对学习记录进行查询以及导出，筛选说明如下表： 图1 课程记录查询条件 表1 “课程学习记录”筛选项

查看更多 →

联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题： 计算节点API

查看更多 →

创建可信联邦学习作业 联邦建模的过程由企业A来操作，在“作业管理 > 可信联邦学习”页面单击“创建”，填写作业名称并选择算法类型后单击确定即进入联邦建模作业界面。本文逻辑回归算法为例。 父主题： 使用 TICS 可信联邦学习进行联邦建模

查看更多 →

在左侧导航树上依次选择“作业管理 > 可信联邦学习”，打开可信联邦学习作业页面。 在“可信联邦学习”页面，单击“创建”。 图1 创建作业 在弹出的对话框中单击“纵向联邦”按钮，编辑“作业名称”等相关参数，完成后单击“确定”。 目前，纵向联邦学习支持“XGBoost”、“逻辑回归”、“F

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

对接的DLI服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →