更新时间:2022-02-22 GMT+08:00

创建并提交Flink作业

场景描述

本章节指导用户通过API创建并运行Flink自定义作业。API的调用方法请参见如何调用API

约束限制

  • 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。

涉及接口

操作步骤

  1. 创建通用队列。具体请参考创建队列。其中,需要将请求参数"resource_mode"设置为“1”,创建专属队列。
  2. 上传Flink自定义作业资源包。具体请参考2
  3. 查询组内资源包。具体请参考3
  4. 创建Flink自定义作业。
    • 接口相关信息

      URI格式:POST /v1.0/{project_id}/streaming/flink-jobs

    • 请求示例
      • 描述:在项目ID为48cc2c48765f481480c7db940d6409d1项目下,创建Flink自定义作业。
      • 示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/streaming/flink-jobs
      • Body:
        {
            "name": "test",
            "desc": "job for test",
            "queue_name": "testQueue",
            "manager_cu_number": 1,
            "cu_number": 2,
            "parallel_number": 1,
            "tm_cus": 1,
            "tm_slot_num": 1,
            "log_enabled": true,
            "obs_bucket": "bucketName",
            "smn_topic": "topic",
            "main_class": "org.apache.flink.examples.streaming.JavaQueueStream",
            "restart_when_exception": false,
            "entrypoint": "javaQueueStream.jar",
            "entrypoint_args":"-windowSize 2000 -rate3",
            "dependency_jars": [
                "myGroup/test.jar",
                "myGroup/test1.jar"
            ],
            "dependency_files": [
                "myGroup/test.csv",
                "myGroup/test1.csv"
            ]
        }
    • 响应示例
      {
        "is_success": true,
        "message": "新建flink作业成功",
        "job": {
          "job_id": 138,
          "status_name": "job_init",
          "status_desc": ""
        }
      }
  5. 批量运行作业。
    • 接口相关信息

      URI格式:POST /v1.0/{project_id}/streaming/jobs/run

    • 请求示例
      • 描述:在项目ID为48cc2c48765f481480c7db940d6409d1项目下,运行job_id为298765和298766的作业。
      • 示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/streaming/jobs/run
      • Body:
        {
            "job_ids": [131,130,138,137],
            "resume_savepoint": true
        }
    • 响应示例
      [
          {
              "is_success": "true",
              "message": "作业提交请求下发成功"
          },
          {
              "is_success": "true",
              "message": "作业提交请求下发成功"
          },
          {
              "is_success": "true",
              "message": "作业提交请求下发成功"
          },
          {
              "is_success": "true",
              "message": "作业提交请求下发成功"
          }
      ]