# CV大模型训练流程与选择建议
#### CV大模型训练流程介绍
目前，CV大模型支持预训练和微调。
- **预训练阶段：**通过在大规模通用数据集上训练，使模型学习到通用视觉特征，使得模型在面对不同类型的图像数据时，能够快速捕捉到关键信息，提升了模型的训练效率和泛化能力。

- **微调阶段：**微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。
 
#### CV大模型选择建议
选择合适的CV大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景，选择合适的模型，从而提高模型的整体效果，详见[表1]。
 表1CV大模型的类型 
| 模型名称               | 适用场景                                                                                                                                                                                                                                                               | 说明                                                                                                            |
|:---|:---|:---|
| Pangu-CV-物体检测-S-V2 | 盘古计算机视觉物体检测大模型，该模型适用的任务是找出图像中所有感兴趣的目标，确定它们的位置和类别。适用于如积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等任务。                                                                                                                                                                           | S模型特点是小参数量，适合在资源有限的环境中使用，提供较快的检测速度和合理的精度。支持全量微调，在线推理，边缘推理。                                                    |
| Pangu-CV-物体检测-N-V2 | 该模型属于物体检测模型，旨在识别图像中的所有感兴趣目标，定位其位置并确定其类别。适用于各种任务，如：积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。                                                                                                                                                                                | 2024年12月发布的版本，支持全量微调、在线推理。 物体检测-N模型为中参数量模型，在保证计算效率的同时，具备较强的特征识别能力，提供高效的性能表现。 |
| Pangu-CV-图像分类-V2   | 盘古计算机视觉图像分类大模型，根据在图像信息中所反映的不同特征，把不同类别的图像区分开来的图像处理方法，利用计算机视觉技术对图像进行定量分析，把图像划归为若干个类别中的一种或多种。适用于动植物分类、车辆类型分类、车牌分类、废钢定级、零部件分类等任务。                                                                                                                                      | 支持全量微调，在线推理，边缘推理，推理卡类型支持D310P和D910B3，其中D910B3推理不支持视频流。                                                        |
| Pangu-CV-物体检测-S-V3 | 盘古计算机视觉物体检测大模型，该模型适用的任务是找出图像中所有感兴趣的目标，确定它们的位置和类别。适用于如积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等任务。                                                                                                                                                                           | S模型特点是小参数量，适合在资源有限的环境中使用，提供较快的检测速度和合理的精度。支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。推理卡类型支持D310P和D910B3，其中D910B3推理不支持视频流。     |
| Pangu-CV-目标跟踪-V3   | 盘古计算机视觉目标跟踪大模型，盘古计算机视觉目标跟踪大模型，在视频中对感兴趣物体进行检测、提取、识别和跟踪，从而获得目标物体的相关参数。                                                                                                                                                                                               | 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。                                                                                   |
| Pangu-CV-万物检测-V2   | 盘古计算机视觉万物检测大模型，能够识别和定位已知类别对象，同时也能处理未知类别对象的模型。具备对未知类别的泛化能力，并在面对新类别时能够做出合理的响应。                                                                                                                                                                                       | 支持全量微调，在线推理，边缘推理，3亿模型1卡起训，44亿模型2卡起训，1卡部署。                                                                     |
| Pangu-CV-视觉交互检测-V3 | 盘古计算机视觉交互检测大模型，该模型适用的任务是找出图像中所有感兴趣的目标，确定它们的位置和类别。不同于传统的目标检测模型，该模型经过开集训练后支持文本提示或者视觉提示检测任意感兴趣的目标（与训练数据领域差异不宜过大），该模型不仅可以检测训练数据中的类别还可以检测未见过的类别， 适用于数据预标注、新型工业缺陷检测、新兴场景快速目标检测等任务。                                                                                       | 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。                                                                                   |
| Pangu-CV-异常检测-V3   | 盘古计算机视觉异常识别大模型，对不符合预期模式或数据集中大多数样本的项目、事件或观测值的异常点进行识别和检测。异常检测3.0包含闭集和开集两个模型,其中闭集异常检测模型融合自研PanguFormer骨干网络与多教师蒸馏策略，实现轻量高效、参数极简却性能超越主流SOTA，同时具备强大的零/少样本泛化能力，可在异常样本稀缺甚至缺失时仍保持高精度。开集异常检测模型基于工业大一统预训练与CLIP强泛化能力，实现开箱即用、零样本推理，同时支持少样本微调，在无需大量标注数据的情况下即可在多种工业场景中高效部署并保持高精度。 | 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。                                                                                   |
| Pangu-CV-实例分割-V1   | 盘古计算机视觉实例分割大模型，可以检测输入图像中的目标，并为每个目标像素分配类别标签。实例分割能够对前景语义类别相同的不同实例进行区分。                                                                                                                                                                                               | 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。                                                                                   |
| Pangu-CV-语义分割-V2   | 将数字图像细分为多个图像子区域，适用于车道分割、建筑分割、选煤厂筛面状态识别等任务                                                                                                                                                                                                                          | 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。                                                                                   |
| Pangu-CV-开集分类-V3   | 盘古CV开集分类大模型，根据在图像信息中所反映的不同特征，把不同类别识别到的图像处理方法，利用盘古CV技术对图像进行定量分析，为图像分配若干个类别。                                                                                                                                                                                         | 支持全量微调，在线推理。                                                                                                  |
| Pangu-CV-开集分割-V2   | 计算机视觉任务模型，根据在图像信息中所反映的不同特征，把不同类别的图像区分开来的图像处理方法，利用计算机视觉技术对图像进行定量分析，把图像划归为若干个类别中的某一种。                                                                                                                                                                                | 支持全量微调，在线推理，边缘推理，3亿模型1卡起训，44亿模型2卡起训，1卡部署。                                                                     |