MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

开发用于预置框架训练的代码 当您使用ModelArts Standard提供的预置框架创建算法时，您需要提前完成算法的代码开发。本章详细介绍如何改造本地代码以适配ModelArts上的训练。 创建算法时，您需要在创建页面提供代码目录路径、代码目录路径中的启动文件、训练输入路径参数

查看更多 →

统一角色桌面框架 角色桌面介绍 角色桌面管理 创建角色桌面 编辑角色桌面 查看角色桌面 删除角色桌面 添加常用卡片 添加专属卡片 父主题： IPDCenter基础服务使用指南

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

SDK（NUWA框架） 引入Rainbow SDK Rainbow SDK依赖Cloud Map的注册和发现能力，在引入Rainbow SDK之前，要先引入STS SDK和Cloud Map SDK，并完成STS和Cloud Map的初始化，具体请参见使用STS SDK（NUWA框架）和使用Cloud

查看更多 →

nuwa-gpaas-cloudmap,… 初始化Cloud Map 使用NUWA框架，只要增加对应配置，框架即会完成Cloud Map的初始化。 这些配置需要写到nuwa框架可以读到的文件里，一般是nuwa-xxx.properties，nuwa-xxx.yaml文件。因为Cloud

查看更多 →

将测试框架集成到项目中 在您的项目中启动测试框架集成： 单击CodeArts IDE底部的“测试“（）按钮来打开测试视图。 在测试视图中，单击“Configure Python Tests“按钮。 在弹出的窗口中选择测试框架来启动对应集成。 如果您选择“pytest“，Codea

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。S

查看更多 →

双因子认证的验证码是一个固定的吗？ 当您开启双因子认证无法用手机/邮箱接收验证码时，您可以选择“验证码验证”。当您每次登录云主机时，HSS均会生成一个随机验证码发送到您的登录界面，您直接输入随机验证码即可登录该云主机。 图1 验证码验证 父主题： 安全配置

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题： MapReduce开发指南

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

Map的初始化，具体请参见使用STS SDK（Spring Cloud框架）和使用Cloud Map SDK（Spring Cloud框架）。 使用Cloud Map进行数据库注册和发现时，需要先在WiseDBA管理台配置连接信息，并注册到Cloud Map中，Rainbow SDK连接数据库的过程中，直接调用Cloud

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的Res

查看更多 →