# 数据图书馆 #### 创建数据资产 **新增数据** 1. 以账号登录unidaten系统。 光标放置在系统左上角，在功能导航中单击选择"数据图书馆"，进入数据图书馆页面。 在左侧目录中选择需要创建数据资产的分组 2. 进入创建数据资产类型选择页面。 3. 选择资产类型，进入创建资产页面。 4. 选择数据源，"数据源名称"自动填充"JDBC连接串"等信息，"用户名"、"密码"和"客户端字符集"会自动填充该数据源的相应信息，单击 "确认"。 图1创建资产 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142231376.png) 5. 进入数据资产配置页面，填写资产名称及其他配置信息，配置完成后，单击右上角"保存"。"分区条数"的配置是为了提升性能，当数据源中的数据过多时，可分批次提取数据。 图2资产配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177590465.png) 6. 进入该数据资产详细信息页面，配置完成后，可在菜单栏选择数据结构、关联关系、血缘关系、分析图表、数据质量和权限设置进一步的配置数据资产信息。 CloudTable资产和非CloudTable资产的页面结构有区别，CloudTable资产的菜单栏中所有tab页共用按钮，同时按钮的位置会存在差异；非CloudTable资产的菜单栏中每个tab页有单独的按钮。所以，请根据实际情况操作各资产菜单栏的按钮。 **导入数据** 通过"导入数据"方式创建数据资产时，导入的数据数量没有限制，但是只能显示10000条数据。未显示的数据能参与运算，比如在数据交换机中的运算。 1. 以账号登录unidaten系统。 光标放置在系统左上角，在功能导航中单击选择"数据图书馆"，进入数据图书馆页面。 2. 在左侧目录中选择需要创建数据资产的分组，光标放置在右上角，单击"导入数据"，页面弹出对话框。 3. 选择导入资产的途径，可选择"从文件导入"或"从数据库导入"，操作步骤同新增数据。 图3导入资产 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142389932.png) 4. 进入文件上传页面，单击上传文件或拖拽目标文件至虚线框区域，上传成功后，页面下方出现"文件预览"窗口。 图4上传文件 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002144591078.png) 5. 单击右下角"导入"，进入数据图书馆主页面，可查看该文件对应的数据资产。 6. 在左侧目录中选择需要创建数据资产的分组，光标放置在右上角，单击"导出数据"，页面弹出对话框，如下图所示。 图5导出数据 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142231860.png) 7. 单击"下载"，将下载以目录命名的zip文件，文件中包含该目录下的CT类型文件。 8. 单击"资产计数"，弹出计数中提示框，会计算出资产行数。 #### 编辑数据资产 **操作步骤** 1. 选择数据图书馆，进入数据图书馆页面，该页面可查看所有当前用户创建的数据资产和其他用户分享的数据资产。 2. 在左侧选择资产所在目录或在搜索框中输入数据资产的名称关键字查找目标数据资产。 3. 选择数据资产，进入对应的信息编辑页面，可查看和修改该数据资产的详细配置信息。 - CloudTable数据资产，包括资产数据、数据结构、关联关系、血缘关系、分析图表、质量检测和权限设置功能。用户可以对表中数据进行编辑操作，操作与Excel表格操作类似。 图6资产数据1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177724873.png) - 非CloudTable数据资产，包括资产数据、资产配置、数据结构、关联关系、血缘关系、分析图表、质量检测、数据权限和生命周期。用户只能查看表对应的视图内容，不可以直接修改视图内的数据。 图7资产数据2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142247432.png) 4. 单击"编辑"，可以直接修改字段的关联标准、类别、别名和描述的内容。单击"保存"，保存修改后的内容。 当数据类型为MySQL时，数据结构中无法展示数据库表中类型为binary，geometry，geometrycollection，linestring，multilinestring，multipoint，multipolygon，point，polygon，tinyblob，varbinary的字段。 5. DB2、SQLSERVER、GBase、Sqlite、MySQL、SysDB、Postgre、GreenPlum、Oracle、达梦数据资产支持同步功能，数据结构页面中存在"同步"按钮。 图8数据同步 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177606517.png) 6. 单击"同步"按钮出现"数据同步"的窗口，在窗口中可选择需要同步的字段，如上图所示。 7. 单击"确认"后，数据库表中相应的字段内容会覆盖当前字段的内容。 **关联关系操作** 资产的关联关系可配置资产与其他资产中数据的关联关系。同时系统通过智能分析，会推荐同一目录下，与当前资产中字段及类型相同的资产，或者某个字段数据交集比较多的资产。 通过该处的功能，仅用于保存当前资产与其他资产间配置的关联关系，若要使不同资产中字段的关联关系生效，需在数据交换机中配置对应的数据交换机流程，在流程中配置资产中字段与其他资产字段的连接，并在交换机运行成功后，才能建立完整的连接并输出相应的数据。 - 添加智能推荐的资产 1. 在菜单栏单击"关联关系"，进入该资产的关联关系页面。 图9关联关系1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177597629.png) 2. 若同一目录下，存在与当前资产有关联关系的资产，则在关联关系页面右侧的"智能推荐"下显示该资产的名称。例如下图中的资产"测试数据分析仪"。 图10智能推荐 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142238556.png) 若同一目录下与当前资产有关联关系的资产过多，为了提升用户体验，系统最多推荐5个关联强度最高的资产。 3. 单击智能推荐下关联关系资产的"应用"，画布中显示当前资产与所关联的资产。如下图中画布中显示的"测试数据分析仪"，并且当前资产与有关联关系的资产间通过绿色粗虚线连接。 图11应用 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177715997.png) 4. 单击智能推荐下关联关系资产的"相关性"，展示与当前资产有关联关系的字段。系统限制每个资产推荐展示的字段个数最多为6个。 5. 单击各字段下的"应用"，打开"设置关联"配置框。"设置关联"配置框中自动填充当前资产与其他资产中有关联关系的字段的名称。 图12设置关联 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142396608.png) 6. 单击"设置关联"配置框中的"应用"，生成关联关系，当前资产与有关联关系的资产间的连线变成绿色粗实线。 图13生成关联关系 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177597641.png) 7. 若需要修改智能推荐的关联字段，单击画布中的设置关联图标进行修改，单击"重置"可清除当前配置的关联关系。 - 添加非智能推荐的资产 1. 在菜单栏单击"关联关系"，进入该资产的关联关系页面。 2. 选择当前资产需要关联的资产所在的资产库后，左侧菜单栏显示该资产库下的目录及资产信息。单击选择资产，画布中显示当前资产与需要关联的资产，当前资产与需要关联的资产通过灰色细虚线连接。 图14添加非智能推荐的资产 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177716001.png) 3. 单击画布中的连线，弹出"设置关联"配置框，根据需求配置资产间需要关联的字段。 4. 单击"设置关联"配置框中的"确定"，生成关联关系，当前资产与需要关联的资产间的连线变成灰色细实线。 5. 若需要修改关联关系，单击画布中的连线进行修改，单击"删除"可清除当前配置的关联关系。 **血缘关系操作** 资产的血缘关系即该资产与其他资产之间的联系，可在资产的血缘关系菜单下进行查看。 资产之间的血缘关系是在数据交换机的基础上建立的。当资产中数据在数据交换机中与其他资产中的数据配置相关转换算法，在交换机执行后即可生成该资产的血缘关系，可在该资产的血缘关系菜单下进行查看。无论交换机执行成功或失败，均可产生血缘关系。 1. 在菜单栏单击"血缘关系"，进入该资产的血缘关系页面。 2. 在数据交换机中，配置该资产相关的转换算法，并设置调度，待数据交换机执行后，可在血缘关系中查看相关资产中数据之间的关系。例如，在数据交换机中配置高级转换中的连接算法。 图15血缘关系操作1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142396612.png) 3. 数据交换机执行后，再次进入该资产的血缘关系页面，可查看资产与其他资产之间的血缘关系。 图16血缘关系操作2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177597649.png) **分析图表操作**：数据资产的分析图表页展示所有使用该数据资产的数据分析仪。 1. 在资产的菜单栏中选择"分析图表"，进入资产的分析图表页面。该页面可查看在数据分析仪中所创建的且使用了当前资产的所有图表。 选择需要查看的图表，单击图表，进入该图表的操作页面。 2. 单击右上角"去探索"，进入该数据资产对应的分析仪图表创建页面。该页面的相关操作请参考数据分析仪。 **质量检测** 质量检测不涉及用户配置，且只分析数值型字段数超过2的资产。 质量检测针对数据质量从数据属性、数据关联、数据分类特性三个维度进行分析，包括：统计数据分布、分析数据间关联程度、分析数据五大特性，并给出相应评分。 - 数据质量分析：根据每个字段的量级生成柱状图。向用户展示字段中的最大值、最小值、中位数和均值，以及分析每个字段中均值以下数值占比。通过导入资产ID自动生成数据质量分析模块，无需设置任何参数。 - 展示规则：以柱状图展示每个字段的四种属性值。 - 展示风险：不同字段可能量级不同，造成较小量级可视化结果不明显，较大量级可视化结果过于突出。 - 展示方式：将鼠标移动到字段的柱状图，悬浮框中的内容即是相应字段的描述。 图17数据属性分析 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142238568.png) - 数据关联分析：通过展示字段名、关联强度、以及关联系数，分析关联程度最大的两个字段以及关联数量最多的字段。当关联程度为"无"时，则不展示关联强度以及关联系数。 通过导入资产ID自动生成数据关联分析模块，无需设置任何参数。 - 关联强度：强相关为绿色连线；中相关为黄色连线；弱相关为浅蓝色连线。 - 关联系数：关联系数的取值为\[-1,1\]，负数代表负相关，正数表示正相关。 - 展示规则：此模块仅支持对数值型字段的特征进行分析，对于非数值型字段的特征不会进行分析展示。 - 展示方式：将鼠标移动到字段，字段会高亮显示。 图18数据关联分析 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177716005.png) - 数据分类分析：对数据的完整性、一致性、有效性、及时性和唯一性进行分析展示，并进行打分，满分为100，同时展示相关属性得分较低原因。 - 通过导入资产ID自动生成数据分类分析模块，无需设置任何参数。 - 完整性：检验字段中缺失值占比。 - 一致性：检验字段中元素类型是否一致。 - 及时性：检验文件最后修改时间与当前时间的时间差。 - 唯一性：检验字段中重复元素占比。 - 有效性：检验文件中的手机号、身份证号、邮箱是否有效。有效性检验的规则如下：1、如果在CT资产中录入身份证信息时，身份证号的内容必须是文本类型。其他类型的资产没有限制。2.检验有无检验目标的字段(检验标准为相应类型数据应超过50%)，如果无对应字段，则默认得分为满分。 3.如果存在目标字段则计算该字段的有效性。 4.有效性总得分是三种字段的1-损失数/（有效列数\*行数）。例如现有5列数据，数据集维度为100行\*5列，有一列数据为邮箱，一列数据为手机号，其他三列为无关列。通过检验发现，手机号列有5个手机号为无效，邮箱列有10个手机号为无效，则有效性为：1-(5+10)/(2\*100) - 展示规则：此模块会对所有数据型的字段进行分析，属性得分范围为\[0,1\]，当折线统计图中属性得分越高，表明对应属性越完整。 图19数据分类分析 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142396616.png) **数据权限操作** 1. 在资产的菜单栏单击"数据权限"，进入该资产的权限设置页面。 图20数据权限操作1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177597653.png) 2. 单击左上角的添加图标，添加资产的数据权限，包括对行权限、列权限及权限规则的设置。 图21数据权限操作2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177716009.png) 3. 单击"保存"，保存对资产的权限设置。 **生命周期操作**：MySQL、Oracle或者SQLServer的数据资产支持配置生命周期。 1. 在资产的菜单栏中选择"生命周期"，进入资产的生命周期页面。 图22生命周期 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142396620.png) 2. 新增迁移。新增迁移指的是根据资产数据中的时间字段，将数据资产迁移到数据源指向的数据库。 单击"新增"，选择"迁移"，创建该资产的迁移功能，如下图所示。 图23新增迁移 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177597657.png) 3. 新增删除。 单击"新增"，选择"删除"，创建该资产的删除功能。 图24新增删除 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142238576.png)