支持提交MapReduce Jar程序。 Spark：基于内存进行计算的分布式计算框架， MRS 支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。

查看更多 →

mples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/oozienormal-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

成长地图 | 华为云 MapReduce服务 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图

查看更多 →

用户名/logs）。 日志已被清理（spark的JobHistory默认存放7天的eventLog，配置项为spark.history.fs.cleaner.maxAge；MapReduce默认存放15天的任务日志，配置项为mapreduce.jobhistory.max-age-ms）。

查看更多 →

adoop-mapreduce-examples-2.7.x.jar HDFS存储路径：以“/user”开头。Spark Script需要以“.sql”结尾，MapReduce和Spark需要以“.jar”结尾。sql、jar不区分大小写。 父主题： 使用Spark

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

新建MRS SparkSQL数据连接 连接MRS SparkSQL前，需要满足以下条件： 已创建一个包含Spark组件的MRS 2.x之前版本集群，并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS SparkSQL数据源， DLV 暂不支持。 已获取MRS

查看更多 →

。 Hive与Spark的关系 Hive支持使用Spark作为执行引擎，当执行引擎切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，

查看更多 →

ples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/ooziesecurity-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

仓库服务 GaussDB （DWS），MapReduce服务MRS，云数据库RDS等。使用 DLI 的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《 数据湖探索 用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。 表格

查看更多 →

评论统计 功能介绍 根据数据集ID统计该数据集下的评论。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/comment/statistics 参数说明 无。 请求 请求样例 GET https://ipaddr:port/data

查看更多 →

智能统计 查询人流统计日周月年信息 获取时间热度图统计 获取空间热度图统计 父主题： 行业数据流管理

查看更多 →

作业统计 功能介绍 功能描述：用户可以使用该接口进行空间作业统计。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/jobs-statistics 表1 路径参数 参数 是否必选 参数类型 描述 league_id

查看更多 →

仓库统计 功能介绍 根据仓库短id，查询仓库的代码提交记录统计 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/repositories/{repo

查看更多 →

log_statement_stats记录总的语句统计数据，而其他参数只记录针对每个模块的统计数据。 log_statement_stats不能和其他任何针对每个模块统计的选项一起打开。 取值范围：布尔型 on表示开启记录性能统计数据的功能。 off表示关闭记录性能统计数据的功能。 默认值：off 父主题：

查看更多 →

统计查询 功能介绍 返回满足查询条件的实体总量，不返回数据的具体信息，代码中设置setCountOnly()。 可以参考以下样例代码。 样例代码 public void testCountOnlyQuery() { LOG .info("Entering testCountOnlyQuery

查看更多 →

log_statement_stats记录总的语句统计数据，而其他参数只记录针对每个模块的统计数据。 log_statement_stats不能和其他任何针对每个模块统计的选项一起打开。 取值范围：布尔型 on表示开启记录性能统计数据的功能。 off表示关闭记录性能统计数据的功能。 默认值：off 父主题：

查看更多 →

的语句统计数据，而其他的只记录针对每个模块的统计数据。 log_statement_stats不能和其他任何针对每个模块统计的选项一起打开。 取值范围：布尔型 on表示开启记录性能统计数据的功能。 off表示关闭记录性能统计数据的功能。 默认值：off 父主题： 运行时统计

查看更多 →

在左侧菜单栏中，选择“统计分析（新） > 业务监控”，进入业务监控页面。 选择“访问统计”页签，配置您需要的查询条件，您将查询到以下数据。 环比数据：展示当前统计周期与上一周期的数据对比结果。 流量/带宽趋势：展示不同时间段内查询 域名 的流量/带宽使用情况。 95峰值和平均日峰值的统计范围与带宽

查看更多 →

Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →

流量统计 操作场景 通过使能流量统计功能，您可以查看设备接口的流量统计信息，用于定位断连、丢包等网络问题。 操作步骤 在“智能企业网关”页面，选择“设备管理 > 流量统计”。 在“流量统计接口配置”区域勾选对应接口，单击“统计”使能接口的流量统计功能。 图1 流量统计接口配置 查

查看更多 →