从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive

查看更多 →

学习目标 掌握座席侧的前端页面开发设计。 父主题： 开发指南

查看更多 →

可见范围内的学员在学员端可看见此项目并可以进行学习，学习数据可在学习项目列表【数据】-【自学记录】查看。 学习设置： 防作弊设置项可以单个项目进行单独设置，不再根据平台统一设置进行控制。 文档学习按浏览时长计算，时长最大计为：每页浏览时长*文档页数；文档学习按浏览页数计算，不计入学习时长。 更多设置：添加协同人

查看更多 →

从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。

查看更多 →

从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。

查看更多 →

从零开始使用JobGateway JobGateway是模拟大数据（Mapreduce、Spark、Flink、Hive等）客户端用于大数据业务提交功能的网关，是一个具备HTTPS的REST系统服务，支持提交Mapreduce、Spark、Flink、Hive等类型的大数据作业，

查看更多 →

从零开始使用Sqoop Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库间进行数据的传递，可以将一个关系型数据库（例如MySQL、Oracle、PostgreSQL等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 前提条件 创建 MRS 集群时已勾选Sqoop组件。

查看更多 →

从零开始使用Storm 用户可以在MRS集群的客户端中提交和删除Storm拓扑等基本功能。 前提条件 已安装MRS集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 操作步骤 根据业务情况，准备好客户端，登录安装客户端的节点。

查看更多 →

课程学习 前提条件 用户具有课程发布权限 操作步骤-电脑端 登录ISDP系统，选择“作业人员->学习管理->我的学习”并进入，查看当前可以学习的课程。 图1 我的学习入口 在“我的学习”的页面，点击每个具体的课程卡片，进入课程详情页面。可以按学习状态（未完成/已完成）、学习类型（

查看更多 →

学习任务 管理员以任务形式，把需要学习的知识内容派发给学员，学员在规定期限内完成任务，管理员可进行实时监控并获得学习相关数据。 入口展示 图1 入口展示 创建学习任务 操作路径：培训-学习-学习任务-【新建】 图2 新建学习任务 基础信息：任务名称、有效期是必填，其他信息选填 图3

查看更多 →

计算 弹性伸缩 AS 裸金属服务器 BMS 弹性云服务器 E CS 镜像服务 IMS 函数工作流 FunctionGraph 云化数据中心 CloudDC 父主题： 身份策略授权参考

查看更多 →

计算 弹性伸缩 AS 裸金属 服务器 BMS 弹性 云服务器 ECS 镜像服务 IMS 函数工作流 FunctionGraph 云化数据中心 CloudDC 父主题： 身份策略授权参考

查看更多 →

我的自学课程操作 登录用户平台。 单击顶部菜单栏的学习任务菜单。 进入学习任务页面，单击【自学课程】菜单 进入我的自学课程页面，卡片形式展示我学习和我收藏的课程信息。 图5 我的自学课程 单击【课程卡片】，弹出课程的详情页面，可以查看课程的详细信息开始课程的学习。 父主题： 实施步骤

查看更多 →

从零开始使用Loader 用户可以使用Loader将数据从S FTP服务器 导入到HDFS。 本章节适用于MRS 3.x之前版本。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 访问Loader页面。 登录集群详情页面，选择“服务管理”。 选择“Hue”，在“Hue概述”的“Hue

查看更多 →

如何从零开始开发Operator 开发Operator 制作镜像 制作服务包 父主题： 附录

查看更多 →

从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQ

查看更多 →

L引擎即可完成。 高级过滤：通过分区和列级统计信息，利用表元数据对数据文件进行裁剪。 Iceberg专为解决最终一致性云对象存储中的正确性问题而设计。兼容所有云存储，在HDFS中通过避免列表操作和重命名来减少NameNode拥塞。 可序列化隔离：表变更具有原子性，部分或未提交的变更对读取者不可见。

查看更多 →

确认学习结果 操作场景 HSS学习完白名单关联的服务器后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动确认这些可疑进程，并分类标记为可疑、恶意或可信进程。 学习结果确认方式，仅在创建白名单策略时可设置： “学习结果确认方式”选择的“自

查看更多 →

示。 计算类型：当前支持数值和日期计算。 计算方式：在下拉框中选择所需的计算方法。 当“计算类型”选择“数值”时，支持求和、平均值、最大值、最小值和乘积。参与计算的字段当前仅支持“数字输入框”。 在下拉框中选择计算公式，再选择参与计算的字段，即可自动计算出结果。 当“计算类型”选

查看更多 →

用的要求，具体操作指导如下： 创建虚拟私有云 登录华为云控制台。 图1 控制台 左上角打开服务搜索页面，搜索“vpc”，单击进入“虚拟私有云”服务。 图2 虚拟私有云 单击右上角“创建虚拟私有云”按钮。 图3 创建虚拟私有云 虚拟私有云名称与子网名称可以根据用户要求自行修改，其他

查看更多 →

自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。

查看更多 →