服务开发框架详解 整体结构介绍 单Module base/service DDD 父主题： AstroPro学堂

查看更多 →

在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34

查看更多 →

MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) M

查看更多 →

语音通知功能详解 能力体验 业务公司发现用户Jane使用的某业务已欠费，于是通过语音通知功能向Jane发送欠费通知，请求上报至语音通话平台。语音通话平台呼叫Jane，并在Jane接听后播放业务公司设置的语音内容，通知Jane的欠费金额，并提示根据音频播报信息按对应的数字键可进行业务相关操作。详细体验过程如图1所示。

查看更多 →

合规规则概念详解 合规策略 合规规则 规则评估结果 父主题： 资源合规

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34

查看更多 →

使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle的过程

查看更多 →

使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle的过程

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

接口文档方法详解及功能概述 综述 下述所有方法涉及依赖均基于ISDP+公共能力依赖库提供引用依赖。 公共内容介绍 errorCode码 类型 名称 数值 含义 int UNKNOWN -1 未知类型错误 int DISCARDED 1001 操作被取消 int INNER 1002

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

详解蒲公英表单后台 蒲公英表单的后台包含4项，分别为权益信息、表单管理、全局设置和主题管理。 权益信息 权益信息主要展现当前企业使用的套餐及套餐使用情况。 表单管理 管理企业所有表单的数据详情、导出数据、停用和删除。 全局设置 管理员可设置创建者范围、一键提醒功能使用范围和是否允许广告推送。

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

语音回呼功能详解 能力体验 用户Jack在浏览网站时，通过应用软件呼叫客服人员，呼叫请求上报至语音通话平台。语音通话平台分别呼叫主叫Jack和客服Sophia，使主叫和被叫互相通话。详细体验过程如图1所示。 图1 语音回呼业务体验流程 语音回呼能力可以应用在以下场景。 在线打车：

查看更多 →

AK/SK签名认证算法详解 AK/SK签名认证流程 构造规范请求 创建待签字符串 计算签名 添加签名信息到请求头

查看更多 →

使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不

查看更多 →