Pangu-CV-视觉交互检测-V3

功能介绍

盘古视觉交互检测大模型，支持通过文本或者视觉提示来找出目标图像中所有感兴趣的目标，确定它们的位置和类别。

视觉交互检测推理分为“开集模型推理”和“闭集模型推理”，其中：

• 开集模型推理：

该模式下用户可以给出想要检测的目标少量的视觉提示和文本提示（单一视觉提示或文本提示亦可），即可在待检测图像上检测用户指定目标类目。该过程整体分为提示特征获取和提示特征推理两个步骤：

1. 提示特征获取 : 这一步的目的是根据用户给出的视觉提示或者文本提示生成对应的提示特征编码用于后续的特征推理，由于用户无法一次确定给出的提示能否达到符合预期的检测效果，因此该过程通常是交互式进行，用户通过尝试不同的提示然后观察在待检测图上的效果，选择符合预期效果的提示得到提示特征编码用户后续的特征推理。
2. 提示特征推理：基于上一步得到的提示特征编码，然后即可在待检测目标图像上进行快速的目标检测。

需要注意的是：

1. 第二步基于特征进行推理而不直接基于用户提示直接端到端进行目标检测的原因是提示特征提取比较耗费时间，期间开集检测大模型会进行多次视觉或者文本推理非常耗时。对于已经确定的用户提示，这些提示对应的提示特征是一样的，无需重复提取。因此在实际大规模进行目标检测时，需要先获取提示特征，再基于这些提示特征进行快速推理。
2. 对于使用自己的数据集重新预训练或者微调的数据集进行检测，可以直接仅使用文本提示，将训练类目名称的部分或者全部类目名称使用"."进行拼接，可以达到训练时验证集的检测精度。

• 闭集模型推理：

该模式下和常规目标检测推理方式一致，用户仅需上传待检测的图片即可直接进行目标检测推理。该模式下不具备开集检测能力只能检测训练数据集中的类目，模型会自动加载闭集训练时得到的类目提示特征，无需用户主动进行提示特征获取。

授权信息

账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。

URI

POST /

获取URI方式请参见请求URI。

请求参数

表4 请求Body参数 --开集推理-提示特征推理

表5 请求Body参数 --闭集推理

响应参数

表6 响应Body--开集推理-提示特征获取

表7 响应Body--开集推理-提示特征推理

表8 请求Body参数 --闭集推理

请求示例

1）开集推理-提示特征获取

{
    "mode": "prompt_feature_gen",
    "confidence": 0.5,
    "target_image": "target_image_base64_str",
    "text_prompt": "cat. dog",
    "visual_prompt": [
        {
            "img": "visual_image_1_base64_str",
            "prompt": [
                {
                    "label": "cat",
                    "bbox": [
                        100,
                        100,
                        50,
                        50
                    ]
                },
                {
                    "label": "cat",
                    "bbox": [
                        150,
                        150,
                        50,
                        50
                    ]
                }
            ]
        },
        {
            "img": "visual_image_2_base64_str",
            "prompt": [
                {
                    "label": "dog",
                    "bbox": [
                        30,
                        30,
                        60,
                        60
                    ]
                },
                {
                    "label": "dog",
                    "bbox": [
                        80,
                        80,
                        60,
                        50
                    ]
                }
            ]
        }
    ],
    "show_detected_image": true
}

2）开集推理-提示特征推理

{
    "mode": "prompt_feature_inference",
    "confidence": 0.5,
    "target_image": "target_image_base64_str",
    "prompt_feature": {
        "cat": "cat_feature_base64_str",
        "dog": "dog_feature_base64_str"
    }
}

3）闭集推理

{
    "confidence": 0.5,
    "target_image": "target_image_base64_str"
}

响应示例

{
    "dataset_id":"",
    "results": [
        {
            "label": "cat",
            "bbox": {
                "X":10,
                "Y":10,
                "Width":50,
                "Height":50,
               "Angle":0
            },

            "score": 0.6784
        }
    ],
    "result_vis": "target_image_result_vis_base64_str",
    "prompt_feature": {
        "cat": "cat_feature_base64_str",
        "dog": "dog_feature_base64_str"
    }
}

{
    "dataset_id":"",
    "results": [
        {
            "label": "cat",
            "bbox": {
                "X":10,
                "Y":10,
                "Width":50,
                "Height":50,
               "Angle":0
            },
            "score": 0.6784
        }
    ],
}

3）闭集推理

{
    "dataset_id":"",
    "results": [
        {
            "label": "cat",
            "bbox": {
                "X":10,
                "Y":10,
                "Width":50,
                "Height":50,
               "Angle":0
            },
            "score": 0.6784
        }
    ],
}

状态码

请参见状态码。

错误码

请参见错误码。