jar包名称，也可以输入对应jar包文件的OBS路径，格式为：obs://桶名/文件夹路径名/包名。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。 资源类型 是 支持OBS路径和 DLI 程序包两种类型的资源。

查看更多 →

ModelArts提供了AI全流程开发的套餐包，面向有AI基础的开发者，提供机器学习和深度学习的算法开发及部署全功能，包含数据处理、模型开发、模型训练、模型管理和部署上线流程。 约束限制 套餐包在购买和使用时的限制如下： 套餐包和购买时选定的区域绑定，套餐包只能使用于购买时选定的区域，且只能用于公共

查看更多 →

if SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 说明： 若集群为 MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。 MRS Spark作业的运行程

查看更多 →

适用于空闲资产管理的最佳实践 华为云架构可靠性最佳实践 适用于中国香港金融管理局的标准合规包 适用于中小企业的ENISA的标准合规包 适用于SWIFT CS P的标准合规包 适用于德国云计算合规标准目录的标准合规包 适用于PCI-DSS的标准合规包 适用于医疗行业的合规实践 网络及数据安全最佳实践

查看更多 →

期获取影响成本高的异常记录提醒，进而快速做出反应，维持预期的成本支出。 在费用中心设置可用额度监控，在可用额度余额低于阈值时预警，避免客户额度耗尽，业务中断。 使用资源包监控，在资源包剩余不足预警，避免资源包用尽自动转为按需计费。 使用成本分析预置报告或创建常用的成本分析报告，定期快速了解成本分布和趋势。

查看更多 →

Standard自动学习 ModelArts通过机器学习的方式帮助不具备算法开发能力的业务开发者实现算法的开发，基于迁移学习、自动神经网络架构搜索实现模型自动生成，通过算法实现模型训练的参数自动化选择和模型自动调优的自动学习功能，让零AI基础的业务开发者可快速完成模型的训练和部署。 M

查看更多 →

务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。

查看更多 →

DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。具体请参考《 数据湖探索 用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，

查看更多 →

服务内容说明 服务商用发布版本上架到OSC云原生市场后，会读取服务包的部分描述信息并展示在服务包详情中，因此需要用户在服务包中填写必要的信息，从而保证详情页面展示正常。 根据服务包格式类型，需补充说明内容如下： Helm Chart服务包 Chart服务包其主体描述信息存储在Chart

查看更多 →

介绍神经网络的定义与发展，深度学习的训练法则，神经网络的类型以及深度学习的应用 图像识别、 语音识别 、机器翻译编程实验 与图像识别、语言识别、机器翻译编程相关的实验操作 本培训为线下面授形式，培训标准时长为6天，每班人数不超过20人。 验收标准 按照培训服务申请标准进行验收，客户以官网

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

职业认证考试的学习方法 华为云职业认证 提供在线学习/导师面授+在线测试+真实环境实践，理论与实践结合的学习模式，帮助您轻松通过认证。 您可以通过如下途径进行职业认证的学习： 进入华为云开发者学堂职业认证，按照页面指引在线学习认证课程。 在HALP处报名认证培训课程，由专业导师进行面授培训。

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。

查看更多 →

参数说明 策略名称 创建的智能学习策略的策略名称。 已生效服务器 应用该智能学习策略的服务器数量。 学习中服务器 学习该策略的服务器数量。 可信进程数 智能学习策略生效后，HSS会自动识别您服务器中进程的可信进程，并统计可信进程的数量。 监控文件路径 监控的文件的路径。 扩展名 检测监控路径下包含文件扩展名的所有文件。

查看更多 →

生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人，为您解决技术难题。

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →