建Spark作业。 适用于大规模数据处理和分析，如机器学习训练、 日志分析 、大规模数据挖掘等场景。 管理Jar作业的程序包 DLI 允许用户提交编译为Jar包的Flink或Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数

查看更多 →

本节介绍Fabric服务的主要应用场景。 数据工程 高效处理大规模数据，通过并行计算加速数据处理过程，例如数据清洗、转换和聚合。 分布式机器学习 Ray支持分布式训练和调优，可以用于处理大规模数据集和模型，使得模型训练更加高效。 大模型 使用大模型实现智能对话、自动摘要、机器翻译、文本分类、图像生成等任务。

查看更多 →

大规模药物虚拟筛选 “神农项目”简介 药物虚拟筛选 父主题： 用户指南（基因平台）

查看更多 →

方库，尤其是基于PySpark的融合机器学习相关的大数据分析程序。传统上，通常是直接基于pip把Python库安装到执行机器上，对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源，那如何来保证用户可以更好的运行他的程序呢？ DLI服务在其计算资源中已经内置

查看更多 →

步骤五：设置告警屏蔽 当您在资源分组中需要针对某些指定资源屏蔽告警时，云监控服务支持您在“资源详情>告警规则”页面快速设置告警屏蔽策略。 登录管理控制台。 在管理控制台左上角选择区域和项目。 单击“服务列表 > 云监控服务”。 单击页面左侧的“资源分组”，进入“资源分组”页面。 单击您需要

查看更多 →

适用于人工智能与机器学习场景的合规实践 该示例模板中对应的合规规则的说明如下表所示： 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 cce-cluster-end-of-maintenance-version CCE集群版本为处于维护的版本 cce CC

查看更多 →

Workflow是开发者基于实际业务场景开发用于部署模型或应用的流水线工具，核心是将完整的机器学习任务拆分为多步骤工作流，每个步骤都是一个可管理的组件，可以单独开发、优化、配置和自动化。Workflow有助于标准化机器学习模型生成流程，使团队能够大规模执行AI任务，并提高模型生成的效率。 ModelArts W

查看更多 →

针对对应的场景，由RES根据场景类型预置好对应的智能算法，为匹配的场景提供智能推荐服务。 智能场景功能说明 表1 功能说明 功能 说明 详细指导 猜你喜欢 推荐系统结合用户实时行为，推送更具针对性的内容，实现“千人千面”。 创建智能场景 关联推荐 基于大规模机器学习算法，深度挖掘物品之间的联系，自动匹配精准内容。

查看更多 →

容错性，以支持大规模数据的存储和访问需求。 大数据计算： 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。主要的计算框架包括Hadoop、Spark、Flink等，它们支持分布式计算模型和任务调度。通过这些计算框架，可以进行数据处理、特征提取、机器学习、数据挖掘等复杂的计算和分析任务。

查看更多 →

并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站：http://spark.apache.org/docs/2.2

查看更多 →

运行大规模虚拟药筛任务 药物数据输入格式说明 订阅Docking Summary流程 新建研究 查看药筛结果 查看药筛作业和结果下载

查看更多 →

大规模资源批量续费最佳实践 推荐续费方式概览 批量设置自动续费 根据企业项目批量续费 根据到期时间批量续费 根据续费清单批量续费 先请款后批量续费

查看更多 →

基本概念 AI引擎 可支持用户进行机器学习、深度学习、模型训练作业开发的框架，如Tensorflow、Spark MLlib、MXNet、PyTorch、华为自研AI框架MindSpore等。 数据集 某业务下具有相同数据格式的数据逻辑集合。 特征操作 特征操作主要是对数据集进行特征处理。

查看更多 →

训练相关概念说明 概念名 说明 自监督学习 自监督学习（Self-Supervised Learning，简称SSL）是一种机器学习方法，它从未标记的数据中提取监督信号，属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习，从而生成有用的表示，可用于后续任务。它

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

SparkRTC是否支持在国外使用？ 支持。SparkRTC提供覆盖全球的高质量、大规模的实时音视频网络。 父主题： 产品咨询

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

0支持 DLI Spark作业 DLI在开源Spark基础上进行了大量的性能优化与服务化改造，兼容Apache Spark生态和接口，执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据，具体请参考《 数据湖探索 开发指南》。 发布区域：全部 使用DLI提交Spark Jar作业

查看更多 →

Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。

查看更多 →

Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →