恢复重分布 功能介绍 此接口用于恢复暂停状态下的重分布操作，仅支持DWS2.0集群。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/redistribution/recovery 表1 路径参数 参数

查看更多 →

在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn

查看更多 →

插件能力分布 Huawei Cloud Toolkit的系列插件的能力分布如下表。 表1 插件名称 功能特性 插件地址 Huawei Cloud API 华为云API插件提供华为云服务全量API检索、调试、SDK代码自动补全、集成华为云CLI、示例代码等功能 IntelliJ VS

查看更多 →

查看会话分布 添加的数据库连接到数据库安全审计实例后，您可以查看该数据库的会话分布情况。 前提条件 数据库安全审计实例的状态为“运行中”。 请参考开启数据库安全审计成功开启数据库安全审计功能。 操作步骤 登录管理控制台。 在页面上方选择“区域”后，单击页面左上方的，选择“安全与合规

查看更多 →

位置。对于Hash分布表，在读/写数据时可以利用各个节点的I/O资源，大大提升表的读/写速度。一般情况下大表定义为Hash表。 范围（Range）和列表（List）分布是由用户自定义的分布策略，根据分布列的取值落入满足一定范围或者具体值的对应目标DN，这两种分布方式便于用户灵活地

查看更多 →

可视为倾斜，如果相差10%以上就必须要调整分布列。 GaussDB 支持多分布列特性，可以更好地满足数据分布的均匀性要求。 Range/List分布表的分布列由用户根据实际需要进行选择。除了需选择合适的分布列，还需要注意分布规则对数据分布的影响。 父主题： 表设计最佳实践

查看更多 →

可视为倾斜，如果相差10%以上就必须要调整分布列。 GaussDB支持多分布列特性，可以更好地满足数据分布的均匀性要求。 Range/List分布表的分布列由用户根据实际需要进行选择。除了需选择合适的分布列，还需要注意分布规则对数据分布的影响。 父主题： 表设计最佳实践

查看更多 →

位置。对于Hash分布表，在读/写数据时可以利用各个节点的I/O资源，大大提升表的读/写速度。一般情况下大表定义为Hash表。 范围（Range）和列表（List）分布是由用户自定义的分布策略，根据分布列的取值落入满足一定范围或者具体值的对应目标DN，这两种分布方式便于用户灵活地

查看更多 →

可视为倾斜，如果相差10%以上就必须要调整分布列。 GaussDB支持多分布列特性，可以更好地满足数据分布的均匀性要求。 Range/List分布表的分布列由用户根据实际需要进行选择。除了需要选择合适的分布列，还需要注意分布规则对数据分布的影响。 父主题： 审视和修改表定义

查看更多 →

重分布函数 以下函数为重分布期间gs_redis工具所用的系统函数，用户不要主动调用： pg_get_redis_rel_end_ctid(text, name, int, int) pg_get_redis_rel_start_ctid(text, name, int, int)

查看更多 →

重分布函数 以下函数为重分布期间gs_redis工具所用的系统函数，用户不要主动调用： pg_get_redis_rel_end_ctid(text, name, int, int) pg_get_redis_rel_start_ctid(text, name, int, int)

查看更多 →

集群重分布 重分布 查看重分布详情 父主题： 节点变更

查看更多 →

暂停重分布 功能介绍 该接口用于暂停运行状态下的重分布操作，重分布暂停状态可设置重分布优先级，修改重分布并发数等操作。 仅支持DWS 2.0集群。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/r

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

oozie-examples/oozienormal-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-exa

查看更多 →

Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控

查看更多 →

Hive应用开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始，必须先使用当前类加载器加载该驱动类。 如果clas

查看更多 →

EFILE、ORC等存储格式。 Hive作为一个基于HDFS和MapReduce架构的 数据仓库 ，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 Metastore：对表，列

查看更多 →

he Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于

查看更多 →

处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory.mb=4096;// 每个Map Task需要的内存量 set mapreduce.map

查看更多 →