MapReduce服务 MRS

 

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。包年更优惠,买1年只需付10个月费用

 
 

    hive作用 更多内容
  • Hive Join数据优化

    解决数据倾斜的问题,可通过设置“set hive.optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的,并自动分发到多个Reduce。 父主题: Hive性能调优

    来自:帮助中心

    查看更多 →

  • Hive配置类问题

    ericStatsEvaluator.init. 解决方案:set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true(默认开启)和hive.optimize.skewjoin=true执行报错:ClassCastException

    来自:帮助中心

    查看更多 →

  • 创建Hive脱敏任务

    创建Hive脱敏任务 创建Hive脱敏任务后,可以对Hive类型数据的敏感信息进行脱敏。 本章节将介绍如何创建Hive脱敏任务。 前提条件 已完成云资源委托授权,具体请参见云资产委托授权/停止授权。 已授权Hive数据库,具体请参见授权大数据资产。 已在“敏感数据识别”中完成了敏

    来自:帮助中心

    查看更多 →

  • Hive CBO原理介绍

    Hive中实现CBO的总体过程如下: Hive使用开源组件Apache Calcite实现CBO。首先SQL语句转化成Hive的AST,然后转成Calcite可以识别的RelNodes。Calcite将RelNode中的Join顺序调整后,再由Hive将RelNode转成AST,继续Hive的逻辑优化和物理优化过程。流程图如图1所示:

    来自:帮助中心

    查看更多 →

  • 配置Hive源端参数

    配置Hive源端参数 支持从Hive导出数据,使用JDBC接口抽取数据。 Hive作为数据源, CDM 自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD

    来自:帮助中心

    查看更多 →

  • Hive应用开发规则

    Hive应用开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时,需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始,必须先使用当前类加载器加载该驱动类。 如果clas

    来自:帮助中心

    查看更多 →

  • Hive常见日志说明

    Hive常见日志说明 审计日志 对于审计日志来说,记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。 如下的HiveServer审计日志,表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show

    来自:帮助中心

    查看更多 →

  • 创建MRS Hive连接

    创建 MRS Hive连接 使用catalog连接非安全认证hive on hdfs 使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs

    来自:帮助中心

    查看更多 →

  • Hive应用开发流程

    息。 准备连接Hive集群配置文件 配置并导入样例工程 Hive提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置Hive样例工程 根据业务场景开发程序 根据实际业务场景开发程序,调用组件接口实现对应功能。 开发Hive应用 编译并运行程序

    来自:帮助中心

    查看更多 →

  • 查询Hive表数据

    查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。

    来自:帮助中心

    查看更多 →

  • 调测Hive应用

    调测Hive应用 在Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 父主题: Hive开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • 查询Hive表数据

    查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。

    来自:帮助中心

    查看更多 →

  • 调测Hive应用

    调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 父主题: Hive开发指南(安全模式)

    来自:帮助中心

    查看更多 →

  • Hive JDBC接口介绍

    Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为 数据仓库 类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not suppo

    来自:帮助中心

    查看更多 →

  • Hive JDBC接口介绍

    Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method

    来自:帮助中心

    查看更多 →

  • HiveQL接口介绍

    HiveQL接口介绍 HiveQL支持当前使用的MRS Hive与对应开源Hive版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。MRS Hive版本与开源Hive版本的对应关系如表1所示。

    来自:帮助中心

    查看更多 →

  • Hive JDBC接口介绍

    Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not suppo

    来自:帮助中心

    查看更多 →

  • Hive用户权限管理

    Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive

    来自:帮助中心

    查看更多 →

  • Hive用户权限说明

    操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。在MRS中,完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。

    来自:帮助中心

    查看更多 →

  • Hive负载均衡

    Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强

    来自:帮助中心

    查看更多 →

  • Hive负载均衡

    Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了