# SFTP数据源
本数据集成服务SFTP数据源为您提供读取和写入SFTP双向通道的功能。
#### 使用前准备及限制
- **网络要求**
  SFTP数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见[网络打通](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7765.html)。
  
- **端口放通**
  SFTP端口（22）：需放通TCP 22供华为云数据集成服务访问。
  
 
#### 支持的迁移场景
数据集成离线同步支持以下三种同步方式，以满足不同数据迁移场景的需求：
- **单表同步**
  适用于数据入湖和数据上云场景下，表或文件级别的数据同步。
  
- **分库分表同步**
  适用于数据入湖和数据上云场景下，多库多表同步场景。
  
- **整库迁移**
  适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景。
  
需要注意的是，分库分表与整库迁移能力会根据不同region的上线支持情况有所不同，具体支持情况以页面为准。以下是针对SFTP的支持迁移场景概览：
| 支持迁移场景 | 单表读取 | 单表写入          | 分库分表读取 | 分库分表写入        | 整库读取 | 整库写入 |
|:---|:---|:---|:---|:---|:---|:---|
| 是否支持   | √    | √(部分Region支持) | x      | √(部分Region支持) | x    | x    |
   
#### 核心能力速览
- **连接配置**
  
  | 配置项  | 支持情况   | 说明                                                                             |
  |:---|:---|:---|
  | 认证方式 | 用户密码认证 | 当前仅支持通过SFTP用户密码完成身份验证。 暂不支持密钥完成身份验证。 |
     
  
- **读取能力**
  
  | 配置项    | 支持情况                                                                                             | 说明                                                                                                                                                                 |
  |:---|:---|:---|
  | 增量读取   | √                                                                                                | 支持配置【变量路径】+【调度】方式，实现按时间或文件变化触发增量同步。                                                                                                                                |
  | 支持文件格式 | 二进制 CSV JSON | 支持原始二进制文件读取，适用于源目的端均为文件系统的搬迁。 支持标准CSV格式，支持识别分隔符、编码方式。 支持JSON结构解析，抽取JSON多字段能力。 |
  | 分片并发   | √                                                                                                | 支持按文件进行多并发读取，多线程并行抽取，显著提升吞吐效率。                                                                                                                                     |
  | 脏数据处理  | √                                                                                                | 支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败。                                                                                                                                      |
  | 自定义字段  | √                                                                                                | 可在任务级追加计算列、常量列或脱敏函数，满足个性化业务需求。                                                                                                                                     |
     
  
- **写入能力**
  
  | 配置项    | 支持情况                                             | 说明                                                                                             |
  |:---|:---|:---|
  | 支持文件格式 | 二进制 CSV | 支持原始二进制文件写入，适用于源目的端均为文件系统的搬迁。 支持标准CSV格式，支持识别分隔符、编码方式。 |
  | 脏数据处理  | x                                                | 支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败，暂不支持。                                                             |
     
  
 
#### 创建数据源
在DataArts Studio管理中心新建相应的数据源，详情请参见[创建DataArts Studio数据连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0009.html)。
#### 创建数据集成离线作业
在DataArts Studio数据开发中新建SFTP集成作业，详情请参见[新建离线处理集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1458.html)。
#### 最佳实践
[配置FTP/SFTP增量读取最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1557.html)