更新时间:2025-11-20 GMT+08:00
分享

Redis数据源

Redis是一个开源的高性能内存数据结构存储系统,可用作数据库、缓存和消息代理。

本数据集成服务支持开源及华为云MRS Redis产品,兼容其主流版本,提供高效、便捷的数据迁移能力。

使用前准备及限制

  • 网络要求

    Redis数据源必须与CDM网络进行通讯,以确保数据传输的顺畅性。详情请参见网络打通

  • 端口放通

    Redis端口(16379):需放通TCP 16379(及副本集/分片集群实际监听端口)供华为云数据集成服务访问。

支持的数据类型

Redis支持丰富的存储Value类型,以下是支持的Value类型。

Value存储类型

读取是否支持

写入是否支持

String

Hash

List

x

Set

x

Zset

x

支持的迁移场景

数据集成离线同步支持以下三种同步方式,以满足不同数据迁移场景的需求:

需要注意的是,分库分表与整库迁移能力会根据不同region的上线支持情况有所不同,具体支持情况以页面为准。以下是针对Redis的支持迁移场景概览:

支持迁移场景

单表读取

单表写入

分库分表读取

分库分表写入

整库读取

整库写入

是否支持

x

x

x

核心能力速览

  • 连接配置

    配置项

    支持情况

    说明

    SSL支持

    x

    支持SSL加密,保障数据传输安全,暂不支持。

  • 读取能力

    配置项

    支持情况

    说明

    自定义字段能力

    可在任务级追加计算列、常量列或脱敏函数,满足个性化业务需求。

    脏数据能力

    支持异常数据写入脏数据桶,避免因少量异常数据导致作业失败。

  • 写入能力

    配置项

    支持情况

    说明

    冲突解决

    支持删除相同键的写入方式,灵活处理数据冲突。

    并发写入

    支持并发写入,提升写入效率。

    脏数据能力

    支持异常数据写入脏数据桶,避免因少量异常数据导致作业失败。

创建数据源

DataArts Studio管理中心新建相应的数据源,详情请参见创建DataArts Studio数据连接

创建数据集成离线作业

DataArts Studio数据开发中新建Redis集成作业,详情请参见新建离线处理集成作业

相关文档