中软国际数据治理专业服务解决方案实践

添加目标数据源 功能介绍 添加目标数据源。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/link/instances/

查看更多 →

添加源数据源 功能介绍 添加源数据源。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/link/instances/{i

查看更多 →

本章节指导用户在HSConsole界面添加集群外部的Hive类型数据源。 添加Hive数据源前提条件 数据源所在集群 域名 与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在

查看更多 →

添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/et

查看更多 →

添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户，该代理用户为人机用户且需拥有hive组。

查看更多 →

数据准备 数据集中的数据导入特征工程后，可能存在空值、冗余、数据不足等情况，或者用户需要将多次导入的数据集实例进行数据联合。以上情况，都可以在数据准备中进行操作。当前数据准备包含的功能有：数据修复、数据过滤、数据联合、数据连接、数据去噪。 数据修复 用户可以在数据修复中对单列进行

查看更多 →

Python示例 本章节主要介绍使用Python语言连接副本集实例的方法。 前提条件 连接数据库的 弹性云服务器 必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you

查看更多 →

Python示例 本章节主要介绍使用Python语言连接单节点实例的方法。 前提条件 连接数据库的弹性 云服务器 必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you

查看更多 →

安装Python 在开始在CodeArts IDE上使用Python前，请确保您已在计算机上安装了Python。 在Windows上，您需要手动下载并安装Python解释器。 在Linux上，您可以使用内置的Python 3安装，但为了安装其他Python包，您还需要通过get-pip

查看更多 →

安装Python 用户没有sudo权限 输入的路径没有权限 部署应用中断 权限不够 参数含反斜杠“\”（特例） 环境下没有主机 环境不存在 windows主机部署应用失败 使用sudo权限执行报错 部署进程被第三方杀毒软件拦截 Windows主机上检测到版本与安装版本不匹配 路径不合法

查看更多 →

安装Python 添加该应用步骤可以在主机上安装Python，信息配置如下所示。 表1 参数说明 参数项 说明 步骤显示名称 步骤添加后在部署步骤显示的名称。仅支持汉字、英文字母、数字、空格、或-_,;:./()（）符号，其中空格不可在名称开头或结尾使用，长度为1-128。 环境

查看更多 →

则的数据选择可以进一步提升旧模型精度。 数据增强： 数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型，通过对原数据集进行学习，训练生成新的数据集的方式增加数据量。 数据域迁移应用相关深度学习模型，通过对原域和目标

查看更多 →

较小的学习率，反之可以使用较大的学习率。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。 学习率衰减比率（learning_rate_decay_ratio） 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减

查看更多 →

添加数据源 登录MAS控制台，进入“数据管理>数据源”页面，选择前提条件中已创建好的命名空间，单击右上角的“添加数据源”。 在“添加数据源”页面，填写配置信息，然后单击“提交”。 表1 数据源配置参数 参数 配置说明 所属分区 选择数据源所属分区，配置为命名空间下的主多活分区。 数据源类型

查看更多 →

添加数据资产 在系统中添加数据资产（即数据库）后，您可以对数据库进行敏感数据识别，对敏感信息进行加解密、脱敏等操作。 本文通过添加MySQL数据库为例，您需要根据实际情况添加相应的数据资产。 使用约束 表1 数据库加密支持纳管的数据源及版本 数据库 版本号 MySQL 5.5 、5

查看更多 →

添加HetuEngine数据源 使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源

查看更多 →

添加GBase数据源 本章节适用于 MRS 3.5.0及之后的版本。 HetuEngine支持配置GBase数据源实现对GBase数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加GBase类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。

查看更多 →

添加自建数据库 功能介绍 添加自建数据库 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/{instance_id}/audit/databases 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID

查看更多 →

Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。

查看更多 →

cala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。 数据挖掘（Data Min

查看更多 →

Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。

查看更多 →