中软国际数据治理专业服务解决方案实践

HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。

查看更多 →

添加敏感数据标签 操作场景 系统基于敏感数据标签来识别应用接口中的敏感数据，启用敏感数据标签后，如果系统识别到接口中包含敏感数据标签，将会将接口定义为敏感接口，并开启全文记录。 系统内置了数十种敏感数据标签，如果默认的敏感数据标签类型不能满足业务需求，您可以通过正则表达式或关键字的方式添加自定义的敏感数据标签类型。

查看更多 →

内容类型。填application/json 表3 请求Body参数 参数 是否必选 参数类型 描述 tag_ids 否 Array of integers 标签id集合，最多50个标签 响应参数 无 请求示例 更新数据包标签 PUT https://{endpoint}/v1.0/{project_i

查看更多 →

objects 标签的多维度属性，如标签为“音乐”，可能包含属性“风格”、“歌手”等。 name 否 String 标签名称。 property 否 LabelProperty object 标签基本属性键值对，如颜色、快捷键等。 type 否 Integer 标签类型。可选值如下：

查看更多 →

镜像标签数据格式 概念 镜像标签可供给用户对私有镜像进行自定义标记。通过镜像标签，用户可以自由地对私有镜像分类管理。 镜像标签数据格式 tag数据格式： 标签数据规范的格式为“key.value”，新增key为增加标签，否则为修改标签。 当标签数据出现多个小数点时，定义第一个小数

查看更多 →

根据标签查询数据集 功能介绍 根据标签查询匹配的数据集。 URI URI格式 GET /softcomai/datalake/v1.0/datasetTags 参数说明 无。 请求 请求样例 GET https://ipaddr:port/dataset/softcomai/datalake/v1

查看更多 →

根据标签查询数据集 功能介绍 根据标签查询匹配的数据集。 URI URI格式 GET /softcomai/datalake/v1.0/datasetTags 参数说明 无。 请求 请求样例 GET https://ipaddr:port/dataset/softcomai/datalake/v1

查看更多 →

停止应用，参考章节：软件运维>停止应用 登录MySQL数据库，执行删除库命令：DROP DATABASE 标签画像MySQL数据库名称; 登录DWS数据库，执行删除命令：DROP DATABASE 标签画像DWS数据库名称 登录应用服务器：rm -rf 标签画像安装的文件夹 父主题： 实施步骤

查看更多 →

根据数据集查询标签 功能介绍 根据数据集查询标签。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/{id}/datasetTag 参数说明 参数名 是否必选 参数类型 备注 id 是 String 数据集ID。 请求 请求样例 GET

查看更多 →

s":[],"otherTags":[]}} 要素说明 参数名 参数类型 备注 success String 请求是否成功。 myTags List 数据集的标签列表。 otherTags List 其他标签列表。 状态码 具体请参考状态码。 父主题： 标签接口

查看更多 →

数据标签库管理操作流程 图1 数据标签库管理操作流程 基础配置-宽表配置 基础配置-主体配置 标签制作-标签创建 业务画像-画像更新 标签应用-画像查询与群体分析 父主题： 操作流程

查看更多 →

GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 表1 GS_OPT_MODEL字段 名称 类型 描述 template_name name 机器学习模型的模板名，决定训练和预测调用的函数接口，目前只实现了rlstm，方便后续扩展。

查看更多 →

GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 表1 GS_OPT_MODEL字段 名称 类型 描述 template_name name 机器学习模型的模板名，决定训练和预测调用的函数接口，目前只实现了rlstm，方便后续扩展。

查看更多 →

ine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 表1 GS_OPT_MODEL字段 名称 类型 描述 oid oid 数据库对象id。 template_name name 机器学习模型的模板名，决定训练和预测调用

查看更多 →

学习任务 管理员以任务形式，把需要学习的知识内容派发给学员，学员在规定期限内完成任务，管理员可进行实时监控并获得学习相关数据。 入口展示 图1 入口展示 创建学习任务 操作路径：培训-学习-学习任务-【新建】 图2 新建学习任务 基础信息：任务名称、有效期是必填，其他信息选填 图3

查看更多 →

课程学习 前提条件 用户具有课程发布权限 操作步骤-电脑端 登录ISDP系统，选择“作业人员->学习管理->我的学习”并进入，查看当前可以学习的课程。 图1 我的学习入口 在“我的学习”的页面，点击每个具体的课程卡片，进入课程详情页面。可以按学习状态（未完成/已完成）、学习类型（

查看更多 →

(3) 定义列的抽取标签的规则，可选值如下： QualifierExtractor：表示按照列名来抽取标签。 例如，qualifier是Male，value是1，那么抽取的标签是Male。 QualifierValueExtractor：表示按照列名和value来抽取标签。 例如，qu

查看更多 →

账号下的所有 CTS 追踪器未追踪指定的OBS桶，视为“不合规” mrs-cluster-kerberos-enabled MRS 集群开启kerberos认证 mrs MRS集群未开启kerberos认证，视为“不合规” mrs-cluster-no-public-ip MRS集群未绑定弹性公网IP mrs

查看更多 →

原因分析 该机器在进行过某些Windows功能的启用或关闭后未进行重启。 处理方法 请重启机器。 must log in to complete the current configuration or the configuratio\r\nn in progress must be

查看更多 →

征的多行样本进行可信联邦学习，联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习，适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况，联合多个参与者的共同样本的不同数据特征进行可信联邦学习，联合建模。 概念术语

查看更多 →

已发布区域：北京四、北京二 如何创建多方安全计算作业？ 可信联邦学习作业 可信联邦学习作业是 可信智能计算服务 提供的在保障用户数据安全的前提下，利用多方数据实现的联合建模，曾经也被称为联邦机器学习。 横向联邦机器学习 横向联邦机器学习，适用于参与者的数据特征重叠较多，而样本ID重叠较少的情况，联合多

查看更多 →