从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

定义XGBoost算法中决策树的数量，一个样本的预测值是多棵树预测值的加权和。取值范围为1~50的整数。 树深度 定义每棵决策树的深度，根节点为第一层。取值范围为1~10的整数。 切分点数量 定义每个特征切分点的数量，数量越多，准确率越高，计算时间越长。取值范围为5~10的整数。 分类阈值 区分正负例的得分阈值。

查看更多 →

“梯度提升树回归”节点用于生成回归模型，是一种基于决策树的迭代回归算法。该算法采用迭代的思想不断地构建决策树模型，每棵树都是通过梯度优化损失函数而构建，从而达到从基准值到目标值的逼近。算法思想可简单理解成：后一次模型都是针对前一次模型预测出错的情况进行修正，模型随着迭代不断地改进，从而获得比较好的预测效果。

查看更多 →

超过最大递归深度导致训练作业失败 问题现象 ModelArts训练作业报错： RuntimeError: maximum recursion depth exceeded in __instancecheck__ 原因分析 递归深度超过了Python默认的递归深度，导致训练失败。

查看更多 →

Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Spark的基本概念，根据实际场景选择需要了解的概念，分为Spark Core基本概念、Spark SQL基本概念和Spark Streaming基本概念。 基本概念 准备开发和运行环境 Spark的应用程

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

如何获得开发者认证的学习材料？ 华为云开发者学堂提供在线的视频课程，在线实验，相关学习资料都可以在认证详情页面上获取。 父主题： 开发者认证课程学习常见问题

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

怎么理解SparkRTC的角色Role？ 角色Role是指用户在房间内的不同角色类型，不同角色类型有不同的权限模型。主要有如下三种角色类型： 主播（publisher）：只发流不收流主播型角色。SparkRTC预留的角色类型。 互动观众（joiner）：既能发流也能收流的互动型角色。

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

创建可信联邦学习作业 联邦建模的过程由企业A来操作，在“作业管理 > 可信联邦学习”页面单击“创建”，填写作业名称并选择算法类型后单击确定即进入联邦建模作业界面。本文逻辑回归算法为例。 父主题： 使用 TICS 可信联邦学习进行联邦建模

查看更多 →

联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题： 计算节点API

查看更多 →

“课程学习记录”筛选项 筛选项 说明 课程名称 具体的课程名称，支持模糊搜索 课程编号 具体的课程编号，支持模糊搜索 课程类别 已配置好的课程类别 学习状态 已完成 未完成 组织单元 用户的组织单元分类 单选或多选中课程学习记录后点击左上角“导出”按钮，弹出导出提示框（如下图），点击蓝色跳转“这里”可查看具体导出内容

查看更多 →

Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境

查看更多 →

input_features 是 输入的特征（需要编码的特征） "feature" label_column 是 预测结果类别的字段名 "label" model_saved_path 是 模型保存的路径 "" max_iter 是 最大迭代次数（树的棵数） 4 max_depth 是 树的最大深度 5

查看更多 →

Interface，应用程序编程接口）的方式提供给用户，用户通过实时访问和调用API获取推理结果，帮助用户自动采集关键数据，打造智能化业务系统，提升业务效率。 您可以使用本文档提供的天筹求解器服务API的描述、语法、参数说明及样例等内容，进行相关操作，例如天筹求解器服务包含的二维切割等具体接口使用说明。支持的全部操作请参见2

查看更多 →

面向智慧商超的人脸采集技能。本技能使用多个深度学习算法，实时分析视频流，自动抓取画面中的清晰人脸上传至您的后台系统，用于后续实现其他业务。 商用 多区域客流分析技能 面向智慧商超的客流统计技能。本技能使用深度学习算法，实时分析视频流，自动统计固定时间间隔的客流信息。 车牌识别技能 面向智慧商超的车牌识别技能。

查看更多 →

恢复归档或深度归档存储对象 功能介绍 如果要获取归档存储或深度归档对象的内容，需要先将对象恢复，然后再执行下载数据的操作。对象恢复后，会产生一个标准存储类型的对象副本，也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储类型的对象，在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。

查看更多 →

text_id 是 文本id列，用一个id代表文本。 "id" result_col 是 结果列的列名。 "result_col" delimiter 是 单词间的分隔符。 " " vector_size 是 向量长度。 10 min_count 是 词出现的最小次数，低于该值的单词会被过滤。

查看更多 →