中软国际数据治理专业服务解决方案实践

通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 本章节仅适用于 MRS 3.1.0版本集群。 用户问题 MRS 3.1.0集群Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误。 问题现象 原因分析 通过日志判断得知是格式异常。 处理步骤 确认分

查看更多 →

从PostgreSQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP

查看更多 →

通过sqoop import命令从PgSQL导出数据到Hive时报错 背景 使用sqoop import命令抽取开源PgSQL数据库内容到MRS HDFS或Hive中。 用户问题 使用sqoop命令可以查询PgSQL表，但是执行sqoop import命令导入导出时报错： The

查看更多 →

大容量数据库背景介绍 随着处理数据量的日益增长和使用场景的多样化，数据库越来越多地面对容量大、数据多样化的场景。在过去数据库业界发展的20多年时间里，数据量从最初的MB、GB级逐渐发展到现在的TB级，在如此数据大规模、数据多样化的客观背景下，数据库管理系统（DBMS）在数据查询、

查看更多 →

大容量数据库背景介绍 随着处理数据量的日益增长和使用场景的多样化，数据库越来越多地面对容量大、数据多样化的场景。在过去数据库业界发展的20多年时间里，数据量从最初的MB、GB级数据量逐渐发展到现在的TB级数据量，在如此数据大规模、数据多样化的客观背景下，数据库管理系统（DBMS）

查看更多 →

使用Loader从S FTP服务器 导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从SFTP 服务器 导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SF

查看更多 →

使用Loader从FTP服务器导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从FTP服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。如

查看更多 →

使用Loader从HBase导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SF

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

下载数据集到本地 功能介绍 下载数据集到本地。 URI URI格式 GET softcomai/datalake/v1.0/download/local/download/datasetId={datasetId} 参数说明 参数名 是否必选 参数类型 备注 datasetId 是

查看更多 →

下载数据集到OBS 当用户订阅或申请订阅了数据集且该订阅申请已审批通过，用户可以手动将数据集下载到OBS。 已成功订阅的数据集在有效期内可以多次下载，无需再发起订阅流程。 数据集订阅成功后，数据集中数据有变化时详细介绍请参见消息提醒介绍。 订阅的数据集审批完成后，系统提供自动下载

查看更多 →

使用 CDM 上传数据到OBS 上传存量数据 上传增量数据 父主题： 案例：贸易数据统计与分析

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE

查看更多 →

使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 案例：贸易数据统计与分析

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE

查看更多 →

教程：导出ORC数据到MRS GaussDB (DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS，通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件，利用多DN并行的方式，将数据从GaussDB(DWS)数据库导出到外部，存放在HDFS文件系统上，从而提高整体导出性能。

查看更多 →

同步设备配置数据到NetEco 当设备配置数据发生变化时，为了使NetEco网管上的数据与设备数据保持一致，可以使用NetEco的同步功能将数据同步到NetEco。 前提条件 设备已正常连接。 背景信息 设备创建后，网络连接正常情况下，NetEco会自动从设备同步配置数据。此时Ne

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

使用GaussDB(DWS)提供的GDS工具，利用多DN并行的方式，将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高，适用于大批量数据入库。 从MRS导入数据到集群 MRS（HDFS） 配置一个GaussDB(DWS)集群连接到一个MRS集群，然后将数据从MRS的HDFS中读取到GaussDB(DWS)。

查看更多 →

发布数据集到空间 功能介绍 本接口用于发布数据集到空间。 调用方法 请参见如何调用API。 URI POST /v1/agents/{agent_id}/datasets/{dataset_id}/publish 表1 路径参数 参数 是否必选 参数类型 描述 agent_id 是

查看更多 →