# DataArts Fabric SQL数据源（内测中）
华为云DataArts Fabric SQL是全托管Serverless数据平台，秒级弹性分析TB-PB级湖仓数据，免运维，一套SQL即可打通AI与大数据处理。
本数据集成服务支持华为云DataArts Fabric SQL数据源，提供高效便捷的数据迁移服务。以下统一简称为Fabric。
#### 实现原理
**FabricWriter采用"文件落盘+原子入库"的两级提交机制**：首先创建一个临时Fabric表，将上游数据以该临时表对应的文件格式直接写入华为云OBS目录；随后通过执行INSERT/OVERWRITE SQL，将临时表中的数据以事务级方式一次性加载至FabricSQL正式表中。由于数据直接写入OBS文件，具备优异的写入性能，实现高吞吐、低锁表、可回滚的批量数据集成。
#### 使用前准备及限制
- **网络要求**
  DataArts Fabric SQL数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见[网络打通](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7765.html)和[DataArts Fabric SQL数据源网络配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1559.html)。
  
- **权限** **要求**
  - **Fabric写入权限：** 需向Fabric写入数据，请授予**DataArtsFabricFullPolicy**（含INSERT、CREATE TABLE等全部写权限）。
  
  - **Lakeformation元数据读写权限** ：Fabric使用Lakeformation作为元数据组件，需支持Lakeformation的读写能力，授予**LakeFormation CommonOperations** 或**LakeFormation FullAccess**系统策略。
  
  - **OBS写入权限：** 数据集成服务将与OBS进行读写文件交互，可授予**OBS OperateAccess** **或OBS Administrator**系统策略。
   
 
#### 支持的数据类型
以下给您介绍Fabric写入支持数据源类型。
| 数据类型    | Fabric数据类型        | 写入是否支持 |
|:---|:---|:---|
| 数值类型    | SMALLINT          | √      |
| 数值类型    | INTEGER           | √      |
| 数值类型    | BIGINT            | √      |
| 数值类型    | NUMERIC           | √      |
| 数值类型    | DECIMAL           | √      |
| 数值类型    | REAL              | √      |
| 数值类型    | FLOAT4            | √      |
| 数值类型    | FLOAT8            | √      |
| 数值类型    | DOUBLE PRECISION  | √      |
| 数值类型    | FLOAT\[(p)\]      | √      |
| 布尔类型    | BOOLEAN           | √      |
| 字符类型    | CHAR              | √      |
| 字符类型    | CHARACTER         | √      |
| 字符类型    | NCHAR             | √      |
| 字符类型    | VARCHAR(n)        | √      |
| 字符类型    | CHARACTER VARYING | √      |
| 字符类型    | TEXT              | √      |
| 日期/时间类型 | DATE              | √      |
| 日期/时间类型 | TIMESTAMP         | √      |
| 二进制类型   | BYTEA             | √      |
   
#### 支持的迁移场景
数据集成离线同步支持以下三种同步方式，以满足不同数据迁移场景的需求：
- **单表同步**
  适用于数据入湖和数据上云场景下，表或文件级别的数据同步。
  
- **分库分表同步**
  适用于数据入湖和数据上云场景下，多库多表同步场景。
  
- **整库迁移**
  适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景。
  
需要注意的是，分库分表与整库迁移能力会根据不同region的上线支持情况有所不同，具体支持情况以页面为准。以下是针对DataArts Fabric SQL的支持迁移场景概览：
| 支持迁移场景 | 单表读取 | 单表写入 | 分库分表读取 | 分库分表写入 | 整库读取 | 整库写入 |
|:---|:---|:---|:---|:---|:---|:---|
| 是否支持   | x    | √    | x      | √      | x    | x    |
   
#### 核心能力速览
- **连接配置**
  
  | 配置项    | 支持情况 | 说明                           |
  |:---|:---|:---|
  | AKSK认证 | √    | 通过AKSK认证方式访问Fabric云服务。       |
  | 委托认证   | x    | 支持IAM委托认证，通过委托授权服务角色访问，暂不支持。 |
     
  
- **写入能力**
  
  | 配置项   | 支持情况                                                               | 说明                                                                                                                                                     |
  |:---|:---|:---|
  | 写入方式  | Insert into Insert overwrite | 支持Insert into和Insert overwrite两种写入方式。Insert into是向目标表追加数据，适用于数据的增量写入； Insert overwrite是覆盖目标表或分区的数据，适用于数据的全量更新。 |
  | 脏数据处理 | x                                                                  | 支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败，暂不支持。                                                                                                                     |
  | 并发写入  | √                                                                  | 并发写入可以充分利用集群资源，提高数据写入的速度。                                                                                                                              |
  | 编辑态建表 | √                                                                  | 支持在作业配置过程中一键完成半结构化与结构化数据源到Fabric的目标表构建。                                                                                                                |
     
  
 
#### 创建数据源
在DataArts Studio管理中心新建相应的数据源，详情请参见[创建DataArts Studio数据连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0009.html)。
#### 创建数据集成离线作业
在DataArts Studio数据开发中新建DataArts Fabric SQL集成作业，详情请参见[新建离线处理集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1458.html)。
#### 最佳实践
[DataArts Fabric SQL写入模式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1558.html)