http://10.120.169.53:23011 which is the app master GUI of application_1468986660719_0045 owned by spark | WebAppProxyServlet.java:393 2016-07-21 16:36:02

查看更多 →

18 user=10.6.92.39,kafka/hadoop.hadoop.com@HADOOP.COM,kafka/hadoop.hadoop.com@HADOOP.COM ip=10.6.92.39 operation=create znode target=ZooKeeperServer

查看更多 →

操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序 （可选）在开发环境中（例如IntelliJ

查看更多 →

在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后，可以上传Jar包至Linux客户端环境中运行应用。 HDFS应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 前提条件 已安装HDFS客户端。

查看更多 →

使用应用及应用组 基于应用的监控 应用的监控是基于应用维度，而非应用组。创建自定义应用后，可以在监控中的应用显示页看到相对应的预定义应用和自定义应用，应用组不显示。 基于应用组的策略 配置时使用的是应用组维度而不是应用，策略可以基于应用识别进行执行。如配置QoS策略中的配置。 父主题：

查看更多 →

FileStream，简称HFS）是HBase的独立模块，它作为对HBase与HDFS接口的封装，应用在 MRS 的上层应用，为上层应用提供文件的存储、读取、删除等功能。 在Hadoop生态系统中，无论是HDFS，还是HBase，在面对海量文件存储的时候，在某些场景下，都会存在一些很难解决的问题：

查看更多 →

执行以下命令复制OBS文件系统中的程序到集群的客户端所在节点。 hadoop fs -Dfs.obs.access.key=访问OBS的AK信息 -Dfs.obs.secret.key=访问OBS的SK信息 -copyToLocal 应用程序源路径 应用程序目的路径 例如： hadoop fs -Dfs.obs.access

查看更多 →

从服务端拷贝如下文件至jar包（样例代码导出的jar包可参考在Linux环境中调测HDFS应用）同目录的conf目录下。 表1 配置文件 文件名称 作用 获取地址 core-site.xml 配置HDFS详细参数。 ${HADOOP_HOME}/etc/hadoop/core-site.xml hdfs-site.xml

查看更多 →

WebUI界面查看Spark应用程序运行情况。 本章节指导用户在MRS集群中访问Spark WebUI界面。 前提条件 MRS集群已安装Spark组件，并且正常运行。 已创建具有Spark管理操作权限的用户，用户组添加hadoop、hive、supergroup，主组添加hadoop。 操作步骤

查看更多 →

使用应用及应用组 基于应用的监控 应用的监控是基于应用维度，而非应用组。创建自定义应用后，可以在监控中的应用显示页看到相对应的预定义应用和自定义应用，应用组不显示。 基于应用组的策略 配置时使用的是应用组维度而不是应用，策略可以基于应用识别进行执行。如配置QoS策略中的配置。 父主题：

查看更多 →

操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序 （可选）在开发环境中（例如IntelliJ

查看更多 →

运行HBase应用开发程序产生异常如何处理 提示信息包含org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory的解决办法 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc

查看更多 →

运行程序 查看Windows调测结果 HBase应用程序运行完成后，可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 >

查看更多 →

运行程序 查看Windows调测结果 HBase应用程序运行完成后，可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 >

查看更多 →

运行程序 查看Windows调测结果 HBase应用程序运行完成后，可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 >

查看更多 →

Fencing机制。Hadoop默认使用ZooKeeper共享。 关于YARN高可用性方案的更多信息，可参考如下链接： MRS 3.2.0之前版本：http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA

查看更多 →

根据应用ID删除应用 功能介绍 此API通过应用ID删除应用。 调试 您可以在 API Explorer 中调试该接口。 URI DELETE /v2/{project_id}/cas/applications/{application_id} 表1 路径参数 参数 是否必选 参数类型

查看更多 →

根据应用ID删除应用 功能介绍 此API通过应用ID删除应用。 调试 您可以在API Explorer中调试该接口。 URI DELETE /v3/{project_id}/cas/applications/{application_id} 表1 路径参数 参数 是否必选 参数类型

查看更多 →

利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Hadoop-OBS上层应用数据读取效率。 MemArtsCC与Spark的关系 Spark从OBS读取数据，OBSA会从MemartsCC读取数据，如果命中则读本地缓存，否则触发预取。 父主题： MemArtsCC

查看更多 →

场景介绍 核心组件 Hadoop分析集群 Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算、Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →