Redis数据源
Redis是一个开源的高性能内存数据结构存储系统,可用作数据库、缓存和消息代理。
本数据集成服务支持开源及华为云MRS Redis产品,兼容其主流版本,提供高效、便捷的数据迁移能力。
使用前准备及限制
- 网络要求
Redis数据源必须与CDM网络进行通讯,以确保数据传输的顺畅性。详情请参见网络打通。
- 端口放通
Redis端口(16379):需放通TCP 16379(及副本集/分片集群实际监听端口)供华为云数据集成服务访问。
支持的数据类型
|
Value存储类型 |
读取是否支持 |
写入是否支持 |
|---|---|---|
|
String |
√ |
√ |
|
Hash |
√ |
√ |
|
List |
x |
√ |
|
Set |
x |
√ |
|
Zset |
x |
√ |
支持的迁移场景
数据集成离线同步支持以下三种同步方式,以满足不同数据迁移场景的需求:
- 单表同步
适用于数据入湖和数据上云场景下,表或文件级别的数据同步。支持的数据源类型请参考单表支持的数据源类型。
- 分库分表同步
适用于数据入湖和数据上云场景下,多库多表同步场景。支持的数据源类型请参考分库分表同步支持的数据源类型。
- 整库迁移
适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景。支持的数据源类型请参考整库同步支持的数据源类型。
需要注意的是,分库分表与整库迁移能力会根据不同region的上线支持情况有所不同,具体支持情况以页面为准。以下是针对Redis的支持迁移场景概览:
|
支持迁移场景 |
单表读取 |
单表写入 |
分库分表读取 |
分库分表写入 |
整库读取 |
整库写入 |
|---|---|---|---|---|---|---|
|
是否支持 |
√ |
√ |
x |
√ |
x |
x |
核心能力速览
- 连接配置
配置项
支持情况
说明
SSL支持
x
支持SSL加密,保障数据传输安全,暂不支持。
- 读取能力
配置项
支持情况
说明
自定义字段能力
√
可在任务级追加计算列、常量列或脱敏函数,满足个性化业务需求。
脏数据能力
√
支持异常数据写入脏数据桶,避免因少量异常数据导致作业失败。
- 写入能力
配置项
支持情况
说明
冲突解决
√
支持删除相同键的写入方式,灵活处理数据冲突。
并发写入
√
支持并发写入,提升写入效率。
脏数据能力
√
支持异常数据写入脏数据桶,避免因少量异常数据导致作业失败。
创建数据源
在DataArts Studio管理中心新建相应的数据源,详情请参见创建DataArts Studio数据连接。
创建数据集成离线作业
在DataArts Studio数据开发中新建Redis集成作业,详情请参见新建离线处理集成作业。