Superior Scheduler REST API接口介绍

功能简介

REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。

下面使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。

Superior Scheduler接口

• 查询Application
  • 查询scheduler engine中的所有application。
    • URL

      GET https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/list

      

      “SS_REST_SERVER”即：ResourceManager IP地址:端口

      • ResourceManager IP地址：可登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。
      • 端口：ResourceManager的HTTPS端口。可登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.https.port”参数值获取。
    • 输入

      无

    • 输出

      JSON Response：
      
      {
       "applicationlist": [
        {
         "id": "1020201_0123_12",
         "queue": "root.Q1.Q11",
         "user": "cchen",
         "resource_request": {
             "vcores" : 10,
             "memory" : 100
        },
        "resource_inuse": {
          "vcores" : 100,
          "memory" : 2000
        },
        "number_running_container": 100,
        "number_pending_request": 10
        },
        {
        "id": "1020201_0123_15",
        "queue": "root.Q2.Q21",
        "user": "Test",
        "resource_request": {
          "vcores" : 4,
          "memory" : 100
        },
        "resource_inuse": {
          "vcores" : 20,
          "memory" : 200
        },
        "resource_reserved": {
          "vcores" : 10, 
          "memory" : 100
        },
        "number_running_container": 20,
        "number_pending_container": 4,
        "number_reserved_container":2
        }
       ]
      }

    表1 all application参数

    参数属性	参数类型	参数描述
    applicationlist	array	application ID数组。
    queue	String	application队列名称。
    user	String	提交application的用户名称。
    resource_request	object	当前所需要的资源，包括vcores、内存等。
    resource_inuse	object	当前所使用的资源，包括vcores、内存等。
    resource_reserved	object	当前所预留的资源，包括vcores、内存等。
    number_running_container	int	正在运行的container的总数。这反映了superior引擎的判定数量。
    number_pending_request	int	挂起申请的总数。这是所有分配请求总和。
    number_reserved_container	int	预留container的总数。这反映了superior引擎的判定数量。
    id	String	application ID。

  • 查询scheduler engine中的单个application。
    • URL

      GET https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/{application_id}

    • 输入

      无

    • 输出

      JSON Response：
      
      {
       "applicationlist": [
        {
         "id": "1020201_0123_12",
         "queue": "root.Q1.Q11",
         "user": "cchen",
         "resource_request": {
             "vcores" : 3,
             "memory" : 3072
        },
        "resource_inuse": {
          "vcores" : 100,
          "memory" : 2048
        },
        "number_running_container": 2,
        "number_pending_request": 3,
        "number_reserved_container":1
        "master_container_id": 23402_3420842
        "master_container_resource": node1.domain.com
        "blacklist": [
          {
           "resource": "node5"
          },
          {
           "resource": "node8"
          }
        ],
        "demand": [
          {
           "priority": 1,
           "ismaster": true,
           "capability": {
           "vcores": 2,
            "memory": 2048
          },
          "count": 1,
          "relaxlocality": true,
          "locality": [
           {
            "target": "node1",
            "count": 1,
            "strict": false
           }
          ],
          "resourceselect": "label1",
          "pending_reason": "application limit reached",
          "reserved_resource": {
           "vcores":1,
            "memory":1024
          },
          "reservations":[
          "id": "23402_3420878",
          "resource": "node1.domain.com",
          "reservedAmount": {
           "vcores":1,
           "memory":1024
          } 
         ] 
        },
        {
         "priority": 1,
         "ismaster": false,
         "capability": {
         "vcores": 1,
         "memory": 1024
        },
        "count": 2,
        "relaxlocality": true,
        "locality": [
         {
          "target": "node1",
          "count": 1,
          "strict": false
         },
         {
          "target": "node2",
          "count": 1,
          "strict": false
         },
         {
          "target": "rackA",
          "count": 2,
          "strict": false
         },
        ],
        "resourceselect": "label1",
        "pending_reason": "no available resource"
        }
       ],
       "containers": [
         {
          "id": "23402_3420842",
          "resource": "node1.domain.com",
          "capability": {
           "vcores": 1,
           "memory": 1024
         }
        },
        {
          "id": "23402_3420853",
          "resource": "node2.domain.com",
          "capability": {
           "vcores": 1,
           "memory": 1024
          }
         }
        ]
       }
      }

    • 异常

      未找到应用程序。

    表2 single application参数

    参数属性	参数类型	参数描述
    application	object	application对象。
    id	String	application ID。
    queue	String	application队列名称。
    user	String	application的用户名称。
    resource_request	object	当前所申请的资源，包括vcores、内存等。
    resource_inuse	object	当前所使用的资源，包括vcores、内存等。
    resource_reserved	object	当前所预留的资源，包括vcores、内存等。
    number_running_container	int	正在运行的container的总数。这反映了superior引擎的判定数量。
    number_pending_request	int	挂起申请的总数。这反映了superior引擎的判定数量。
    number_reserved_container	int	预留container的总数。这反映了superior引擎的判定数量。
    master_container_id	String	总containerID。
    master_container_resource	String	运行的主container的主机名。
    demand	array	demand对象数组。
    priority	int	请求的优先级。
    ismaster	boolean	判断是否为application master需求。
    capability	object	Capability对象。
    vcores, memory, ..	int	数值可消耗资源属性，给该命令定义分配“单元”。
    count	int	单元所需的数量。
    relaxlocality	boolean	本地化需求优先，如果不能满足则不强制满足。
    locality	object	本地化对象。
    target	string	本地化目标的名称（即：节点1，框架1）。
    count	int	资源“单元”数量与所需的本地需求。
    strict	boolean	是否强制本地性。
    resourceselect	String	application资源选择。
    pending_reason	String	该application pending的理由。
    resource_reserved	object	当前需求的预留资源，包括vcores、内存等。
    reservations	array	预留container对象的数组。
    reservations:id	String	预留container的ID。
    reservations:resource	String	container的分配地址。
    reservations:reserveAmount	object	预留项的总数。
    containers	array	分配container对象的数组。
    containers:id	String	containerID。
    containers:resource	String	container分配的位置。
    containers:capability	object	Capability对象。
    containers:vcores,memory…	int	分配给该container的可消耗数值型资源属性。