Hive WebHCat接口介绍

:version

WebHCat版本号（当前必须是v1）。

responseTypes

WebHCat支持的返回类型列表。

status

WebChat连接正常，返回OK。

version

字符串，包含版本号，比如v1。

supportedVersions

所有支持的版本

version

当前服务器WebHCat的版本

module

hive

version

Hive的版本

module

hadoop

version

Hadoop的版本

exec

需要执行的HCatalog DDL语句。

group

当DDL是创建表时，创建表使用的用户组。

permissions

当DDL是创建表时，创建表使用的权限，格式为rwxr-xr-x。

like

用来匹配数据库名的正则表达式。

:db

数据库名

:db

数据库名

group

创建数据库时使用的用户组

permission

创建数据库时使用的权限

location

数据库的位置

comment

数据库的备注，比如描述

properties

数据库属性

:db

数据库名

ifExists

如果指定数据库不存在，Hive会返回错误，除非设置了ifExists为true。

option

将参数设置成cascade或者restrict。如果选择cascade，将清除一切，包括数据和定义。如果选择restrict，表格内容为空，模式也将不存在。

:db

数据库名

like

用来匹配表名的正则表达式

:db

数据库名

:table

表名

format

设置"format=extended"可查看表的更多信息。（其作用相当于HQL:“show table extended like tableName”）。

columns

列名和类型

database

数据库名

table

表名

partitioned

是否分区表，只有extended下才会显示。

location

表的位置，只有extended下才会显示。

outputformat

输出形式，只有extended下才会显示。

inputformat

输入形式，只有extended下才会显示。

owner

表的属主，只有extended下才会显示。

partitionColumns

分区的列，只有extended下才会显示。

:db

数据库名

:table

新建表名

group

创建表时使用的用户组

permissions

创建表时使用的权限

external

指定位置，hive不使用表的默认位置。

ifNotExists

设置为true，当表存在时不会报错。

comment

备注

columns

列描述，包括列名，类型和可选备注。

partitionedBy

分区列描述，用于划分表格。参数columns列出了列名，类型和可选备注。

clusteredBy

分桶列描述，参数包括columnNames、sortedBy、和numberOfBuckets。参数columnNames包括columnName和排列顺序（ASC为升序，DESC为降序）。

format

存储格式，参数包括rowFormat，storedAs，和storedBy。

location

HDFS路径

tableProperties

表属性和属性值（name-value对）

:db

数据库名

:table

已有表名

rename

新表表名

:db

数据库名

:table

表名

ifExists

当设置为true时，不报错。

:db

数据库名

:existingtable

已有表名

:newtable

新表名

group

创建表时使用的用户组。

permissions

创建表时使用的权限。

external

指定位置，hive不使用表的默认位置。

ifNotExists

当设置为true时，如果表已经存在，Hive不报错。

location

HDFS路径

:db

数据库名

:table

表名

:db

数据库名

:table

表名

:partition

分区名，解码http引用时，需当心。比如country=%27algeria%27。

:db

数据库名。

:table

表名。

group

创建新分区时使用的用户组。

permissions

创建新分区时用户的权限。

location

新分区的存放位置。

ifNotExists

如果设置为true， 当分区已经存在，系统报错。

:db

数据库名。

:table

表名。

group

删除新分区时使用的用户组。

permissions

删除新分区时用户的权限， 格式为rwxrw-r-x。

ifExists

如果指定分区不存在，Hive报错。参数值设置为true除外。

:db

数据库名

:table

表名

:db

数据库名

:table

表名

:column

列名

:db

数据库名

:table

表名

:column

列名

type

列类型，比如string和int

comment

列备注，比如描述

:db

数据库名

:table

表名

:db

数据库名

:table

表名

:property

属性名

:db

数据库名

:table

表名

:property

属性名

value

属性值

jar

需要执行的MR的jar包。

class

需要执行的MR的分类。

libjars

需要加入的classpath的jar包名，以逗号分隔。

files

需要拷贝到MR集群的文件名，以逗号分隔。

arg

Main类接受的输入参数。

define

设置hadoop的配置，格式为：define=NAME=VALUE。

statusdir

WebHCat会将执行的MR任务的状态写入到statusdir中。如果设置了这个值，那么需要用户手动进行删除。

enablelog

如果statusdir设置，enablelog设置为true，收集Hadoop任务配置和日志到$statusdir/logs。此后，成功和失败的尝试，都将记录进日志。$statusdir/logs下，子目录布局为：

logs/$job_id (directory for $job_id)

logs/$job_id/job.xml.html

logs/$job_id/$attempt_id (directory for $attempt_id)

logs/$job_id/$attempt_id/stderr

logs/$job_id/$attempt_id/stdout

logs/$job_id/$attempt_id/syslog

仅支持Hadoop 1.X。

callback

在MR任务执行完的回调地址，使用$jobId，将任务ID嵌入回调地址。在回调地址中，任务ID替换该$jobId。

input

Hadoop中input的路径。

output

存储output的路径。如没有规定，WebChat将output储存在使用队列资源可以发现到的路径。

mapper

mapper程序位置。

reducer

reducer程序位置。

files

HDFS文件添加到分布式缓存中。

arg

设置argument。

define

设置hadoop的配置变量，格式：define=NAME=VALUE

cmdenv

设置环境变量，格式：cmdenv=NAME=VALUE

statusdir

WebHCat会将执行的MR任务的状态写入到statusdir中。如果设置了这个值，那么需要用户手动进行删除。

enablelog

如果statusdir设置，enablelog设置为true，收集Hadoop任务配置和日志到$statusdir/logs。此后，成功和失败的尝试，都将记录进日志。$statusdir/logs下，子目录布局为：

logs/$job_id (directory for $job_id)

logs/$job_id/job.xml.html

logs/$job_id/$attempt_id (directory for $attempt_id)

logs/$job_id/$attempt_id/stderr

logs/$job_id/$attempt_id/stdout

logs/$job_id/$attempt_id/syslog

仅支持Hadoop 1.X。

callback

在MR任务执行完的回调地址，使用$jobId，将任务ID嵌入回调地址。在回调地址中，任务ID将替换该$jobId。

execute

hive命令，包含整个和短的Hive命令。

file

包含hive命令的HDFS文件。

files

需要拷贝到MR集群的文件名，以逗号分隔。

arg

设置argument。

define

设置hadoop的配置，格式：define=key=value

statusdir

WebHCat会将执行的MR任务的状态写入到statusdir中。如果设置了这个值，那么需要用户手动进行删除。

enablelog

如果statusdir设置，enablelog设置为true，收集Hadoop任务配置和日志到$statusdir/logs。此后，成功和失败的尝试，都将记录进日志。$statusdir/logs下，子目录布局为：

logs/$job_id (directory for $job_id)

logs/$job_id/job.xml.html

logs/$job_id/$attempt_id (directory for $attempt_id)

logs/$job_id/$attempt_id/stderr

logs/$job_id/$attempt_id/stdout

logs/$job_id/$attempt_id/syslog

callback

在MR任务执行完的回调地址，使用$jobId，将任务ID嵌入回调地址。在回调地址中，任务ID将替换该$jobId。

fields

如果设置成*，那么会返回每个job的详细信息。如果没设置，只返回任务ID。现在只能设置成*，如设置成其他值，将出现异常。

jobid

如果设置了jobid，那么只有字典顺序比jobid大的job才会返回。比如，如果jobid为"job_201312091733_0001"，只有大于该值的job才能返回。返回的job的个数，取决于numrecords。

numrecords

如果设置了numrecords和jobid，jobid列表按字典顺序排列，待jobid返回后，可以得到numrecords的最大值。如果jobid没有设置， 而numrecords设置了参数值，jobid按字典顺序排列后，可以得到numrecords的最大值。相反，如果numrecords没有设置，而jobid设置了参数值，所有大于jobid的job都将返回。

showall

如果设置为true，用户可以获取所有job，如果设置为false，则只获取当前用户提交的job。默认为false。

jobid

Job创建后的Jobid