中软国际数据治理专业服务解决方案实践

大规格实例优化 当网格内实例规模持续增大时，会引起Istio控制面组件Istiod和数据面组件Envoy的内存飙升问题。在购买网格时，可以为网格启用Mantis插件来解决此问题。 大规格实例优化特性仅在“华东-上海一”区域开放。 Mantis插件介绍 Mantis致力于解决由网格

查看更多 →

数据优化 根据统计结果，双方可能会发现存在以下两个问题： 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡，负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据，多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成，接下来就是使用准备好的数据进行联邦建模。

查看更多 →

选择数据 在使用通用文本分类工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入在 自然语言处理 套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“

查看更多 →

选择数据 在使用零售商品识别工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于零售商品识别工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入数据集 前提条件 已在视觉套件控制台选择

查看更多 →

选择数据 在使用云状识别工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于云状识别工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入数据集 前提条件 云状识别工作流支持将服务一键部

查看更多 →

选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集，已选择的数据集会出现在右侧，所选的数据集会用于后续的步骤。 父主题： 使用 TICS 可信联邦学习进行联邦建模

查看更多 →

选择数据 在使用刹车盘识别工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于刹车盘识别工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入数据集 前提条件 刹车盘识别工作流支持将服务

查看更多 →

选择数据 在使用多语种文本分类工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择

查看更多 →

选择数据 在使用通用实体抽取工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“

查看更多 →

选择数据 在使用无监督车牌检测工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于无监督车牌检测工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入数据集 前提条件 已在视觉套件控制台

查看更多 →

选择数据 在使用通用图像分类工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于通用图像分类工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入已有数据集 前提条件 通用图像分类工作流

查看更多 →

选择数据 模型训练前，需要选择训练数据和测试数据。建议训练数据和测试数据分成两个实例，方便算法查找训练或测试数据的位置。 单击第一个代码框下方的“选择数据”，弹出“选择数据”代码框。 界面对训练集、验证集和测试集的概念做出了详细的注释。 待配置参数说明，如表1所示。 表1 选择数据

查看更多 →

数据去重。 输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”，存放结构又分两种情况，“仅包含图片”或“包含图片和标注信息”。 “

查看更多 →

，根据数据存储位置和数据标注情况，按表1填写数据集基本信息，然后单击“确定”。 图2 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据集”。数据格式请见数据集要求。

查看更多 →

新建训练数据集 在“数据选择”页面，单击“新建训练数据集”，右侧弹出“新建数据集”页面，根据数据存储位置和数据标注情况，按表1填写数据集基本信息，然后单击“确定”。 图1 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。

查看更多 →

选择数据 在使用热轧钢板表面缺陷检测工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于热轧钢板表面缺陷检测工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入数据集 前提条件 已在视

查看更多 →

选择数据 在使用第二相面积含量测定工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于第二相面积含量测定工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入数据集 前提条件 已在视觉套

查看更多 →

数据选择 数据去重 数据去冗余 父主题： 数据处理预置算子说明

查看更多 →

数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见使用Hive客户端。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见使用Hive客户端。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

选择数据类型 高效数据类型，主要包括以下三方面： 尽量使用执行效率比较高的数据类型 一般来说整型数据运算(包括=、＞、＜、≧、≦、≠等常规的比较运算，以及group by)的效率比字符串、浮点数要高。比如某客户场景中对列存表进行点查询，filter条件在一个numeric列上，执

查看更多 →