DataArts Fabric SQL数据源（内测中）

实现原理

FabricWriter采用“文件落盘+原子入库”的两级提交机制：首先创建一个临时Fabric表，将上游数据以该临时表对应的文件格式直接写入华为云OBS目录；随后通过执行INSERT/OVERWRITE SQL，将临时表中的数据以事务级方式一次性加载至FabricSQL正式表中。由于数据直接写入OBS文件，具备优异的写入性能，实现高吞吐、低锁表、可回滚的批量数据集成。

使用前准备及限制

• 网络要求

  DataArts Fabric SQL数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通和DataArts Fabric SQL数据源网络配置。

• 权限要求
  • Fabric写入权限：需向Fabric写入数据，请授予DataArtsFabricFullPolicy（含INSERT、CREATE TABLE等全部写权限）。
  • Lakeformation元数据读写权限：Fabric使用Lakeformation作为元数据组件，需支持Lakeformation的读写能力，授予LakeFormation CommonOperations或LakeFormation FullAccess系统策略。
  • OBS写入权限：数据集成服务将与OBS进行读写文件交互，可授予OBS OperateAccess或OBS Administrator系统策略。

支持的数据类型

支持的迁移场景

数据集成离线同步支持以下三种同步方式，以满足不同数据迁移场景的需求：

• 单表同步

  适用于数据入湖和数据上云场景下，表或文件级别的数据同步。支持的数据源类型请参考单表支持的数据源类型。

• 分库分表同步

  适用于数据入湖和数据上云场景下，多库多表同步场景。支持的数据源类型请参考分库分表同步支持的数据源类型。

• 整库迁移

  适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景。支持的数据源类型请参考整库同步支持的数据源类型。

需要注意的是，分库分表与整库迁移能力会根据不同region的上线支持情况有所不同，具体支持情况以页面为准。以下是针对DataArts Fabric SQL的支持迁移场景概览：

核心能力速览

• 连接配置

  配置项	支持情况	说明
  AKSK认证	√	通过AKSK认证方式访问Fabric云服务。
  委托认证	x	支持IAM委托认证，通过委托授权服务角色访问，暂不支持。

• 写入能力

  配置项	支持情况	说明
  写入方式	Insert into Insert overwrite	支持Insert into和Insert overwrite两种写入方式。Insert into是向目标表追加数据，适用于数据的增量写入； Insert overwrite是覆盖目标表或分区的数据，适用于数据的全量更新。
  脏数据处理	x	支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败，暂不支持。
  并发写入	√	并发写入可以充分利用集群资源，提高数据写入的速度。
  编辑态建表	√	支持在作业配置过程中一键完成半结构化与结构化数据源到Fabric的目标表构建。

创建数据源

在DataArts Studio管理中心新建相应的数据源，详情请参见创建DataArts Studio数据连接。

创建数据集成离线作业

在DataArts Studio数据开发中新建DataArts Fabric SQL集成作业，详情请参见新建离线处理集成作业。

最佳实践

DataArts Fabric SQL写入模式最佳实践