应用性能编程规范 PERF01-02 应用性能编程规范 父主题： PERF01 流程与规范

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

自于函数式编程语言及矢量编程语言。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。MapR

查看更多 →

Tez Tez是Apache最新的支持DAG（有向无环图）作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS 将Tez作为Hive的默认执行引擎，执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明，请参见：https://tez

查看更多 →

、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。 映射 用来把一组键值对映射成一组新的键值对。 父主题： MapReduce应用开发概述

查看更多 →

Keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在产品中进行API方式认证。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。 映射 用来把一组键值对映射成一组新的键值对。 父主题： MapReduce开发指南（安全模式）

查看更多 →

常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

支持的编程语言 Node.js语言 Python语言 Java语言 Go语言 C#语言 PHP语言 定制运行时语言 父主题： 使用前必读

查看更多 →

Keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在产品中进行API方式认证。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。 映射 用来把一组键值对映射成一组新的键值对。 父主题： MapReduce开发指南（安全模式）

查看更多 →

常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

本实例实现如下功能：创建一个用于Trace测试的任务。设置事件掩码。启动trace。停止trace。格式化输出trace数据。前提条件：在menuconfig菜单中完成Trace模块的配置。代码实现如下：编译运行得到的结果为：两段数据分别为任务信息和事件信息。任务信息：任务id， 任务优先级， 任务名称。事件信息：发生时间、事件类型、在哪

查看更多 →

本实例实现了在Huawei LiteOS上运行C++的代码。编写C++代码。在运行C++代码之前，先在app_init函数里以NO_SCATTER参数调用LOS_CppSystemInit初始化C++构造函数。在LOS_CppSystemInit之后调用编写好的C++代码。前提条件：通过make menuconfig使能C++支持。C++

查看更多 →

前提条件：在menuconfig菜单中完成动态内存的配置。本实例执行以下步骤：初始化一个动态内存池。从动态内存池中申请一个内存块。在内存块中存放一个数据。打印出内存块中的数据。释放该内存块。输出结果如下：sample_mem.c

查看更多 →

本实例实现如下功能：创建中断。设置中断亲和性。使能中断。触发中断。屏蔽中断。删除中断。前提条件：menuconfig菜单中配置中断使用最大数、配置可设置的中断优先级个数。代码实现如下：sample_hwi.c

查看更多 →

本实例实现如下功能：测试任务Example_TaskEntry创建一个信号量，锁任务调度，创建两个任务Example_SemTask1、Example_SemTask2,Example_SemTask2优先级高于Example_SemTask1，两个任务中申请同一信号量，解锁任务调度后两任务阻塞，测试任务Example_TaskEntry

查看更多 →

本实例实现如下流程。任务Example_TaskEntry创建一个互斥锁，锁任务调度，创建两个任务Example_MutexTask1、Example_MutexTask2。Example_MutexTask2优先级高于Example_MutexTask1，解锁任务调度，然后Example_TaskEntry任务休眠300Tick。Exa

查看更多 →

本实例实现如下流程。任务Example_TaskEntry初始化自旋锁，创建两个任务Example_SpinTask1、Example_SpinTask2，分别运行于两个核。Example_SpinTask1、Example_SpinTask2中均执行申请自旋锁的操作，同时为了模拟实际操作，在持有自旋锁后进行延迟操作，最后释放自旋锁。30

查看更多 →

本实例实现如下功能：初始化双向链表。增加节点。删除节点。测试操作是否成功。代码实现如下：编译运行得到的结果为：

查看更多 →

本实例介绍基本的任务操作方法，包含2个不同优先级任务的创建、任务延时、任务锁与解锁调度、挂起和恢复等操作，阐述任务优先级调度的机制以及各接口的应用。前提条件：在menuconfig菜单中完成任务模块的配置。编译运行得到的结果为：sample_task.c

查看更多 →