Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

技术原理 应用安全的原理如图1所示。 图1 应用安全原理图 父主题： 应用安全介绍

查看更多 →

集成原理 如果您期望了解我们的集成原理，请参见图1。 图1 Web聊天控件token认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Token认证方式）

查看更多 →

集成原理 如果您期望了解我们的实现原理，请参见图1。 图1 Web聊天控件Authorization认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Authorization认证方式）

查看更多 →

工作原理 当用户访问使用CDN服务的网站时，本地DNS 服务器 通过CNAME方式将最终 域名 请求重定向到CDN服务。CDN通过一组预先定义好的策略(如内容类型、地理区域、网络负载状况等)，将当时能够最快响应用户的CDN节点IP地址提供给用户，使用户可以以最快的速度获得网站内容。使用CDN后的HTTP请求处理流程如下。

查看更多 →

备份原理 DDM实例暂不支持客户手动备份，实例将在每日凌晨2点至3点自动备份，删除逻辑库、逻辑库分片变更后清理数据、删除实例等影响Metadata的重要操作也会触发元数据备份。 备份原理如图1所示。 图1 备份原理 元数据库是用来存放DDM实例信息以及下挂的数据节点信息，各区域的所有DDM实例共用一个元数据库。

查看更多 →

如已配置OBS服务， 云审计 服务将事件转存至OBS桶中。用户也可以通过云审计服务的事件列表查看事件文件。云审计服务工作原理示意如图1所示。 图1 云审计服务工作原理示意图

查看更多 →

技术原理 多租户管理页面概述 相关模型 资源概述 动态资源 存储资源 父主题： 多租户介绍

查看更多 →

快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

快速购买Hadoop分析集群 本章节为您介绍如何快速购买一个Hadoop分析集群，Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互

查看更多 →

tarball运行MR任务的例子： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -conf etc/hadoop-x/mapred-site.xml 10 10 父主题： 使用MapReduce

查看更多 →

tarball运行MR任务的例子： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -conf etc/hadoop-x/mapred-site.xml 10 10 父主题： 使用MapReduce

查看更多 →

例如，将“/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar”包设置为高优先级任务。 yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoo

查看更多 →

例如，将“/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar”包设置为高优先级任务。 yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoo

查看更多 →

能会导致任务失败。 前提条件 已将准备连接MapReduce集群配置文件获取的配置文件放置到MapReduce样例工程的“../src/mapreduce-example-security/conf”路径下。 已参考规划MapReduce统计样例程序数据将待处理数据上传至HDFS。

查看更多 →

[main] INFO org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。

查看更多 →

DFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site.xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site

查看更多 →

DFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site.xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site

查看更多 →

obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs

查看更多 →

[main] INFO org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting

查看更多 →