开始使用

python3  bin/datax.py  -r {reader} -w {writer}

支持的reader：

cassandrareader  drdsreader  hbase094xreader  hbase20xsqlreader  loghubreader  oceanbasev10reader  oraclereader  otsstreamreader  sqlserverreader  tdenginereader  clickhousereader  ftpreader  hbase11xreader  hdfsreader  mongodbreader  odpsreader  ossreader  postgresqlreader  starrocksreader  tsdbreader  datahubreader  gdbreader  hbase11xsqlreader  kingbaseesreader  mysqlreader  opentsdbreader  otsreader  rdbmsreader  streamreader  txtfilereader

支持的writer：

adbpgwriter  databendwriter  elasticsearchwriter  hbase11xsqlwriter  hologresjdbcwriter  mongodbwriter  ocswriter  osswriter  selectdbwriter  tdenginewriter  adswriter  datahubwriter  ftpwriter  hbase11xwriter  kingbaseeswriter  mysqlwriter  odpswriter  otswriter  sqlserverwriter  tsdbwriter  cassandrawriter  doriswriter  gdbwriter  hbase20xsqlwriter  kuduwriter  neo4jwriter  oraclewriter  postgresqlwriter  starrockswriter  txtfilewriter  clickhousewriter  drdswriter  hbase094xwriter  hdfswriter  loghubwriter  oceanbasev10writer  oscarwriter  rdbmswriter  streamwriter

以MySQL迁移SQL Server为例，运行如下命令生成模板，红色字典区域为json数据模板：

python3  bin/datax.py  -r mysqlreader -w sqlserverwriter

1. job
   • 配置文件的主要对象，包含整个数据迁移任务的配置信息。
2. setting
   • 位于job对象下，用于设置数据迁移任务的全局参数，如并发通道数（channel），该参数决定了DataX在执行数据迁移时使用的并行线程数。
3. content
   • 位于job对象下，是一个数组，包含多个数据迁移任务的具体配置。每个任务都包含reader和writer两个部分。
4. reader
   • 位于content数组的每个对象中，用于配置数据源读取器。
     • name：读取器的名称，如mysqlreader表示MySQL数据源读取器。
     • parameter：读取器的参数配置，包含数据源连接信息、要读取的字段等。
       • username：数据源的用户名。
       • password：数据源的密码。
       • column：要读取的字段列表。
       • connection：数据源连接信息，包括JDBC URL和要读取的表名等。
5. writer
   • 位于content数组的每个对象中，用于配置目标数据库写入器。
     • name：写入器的名称，如sqlserverwriter表示SQL Server目标数据库写入器。
     • parameter：写入器的参数配置，包含目标数据库连接信息、要写入的字段等。
       • username：目标数据库的用户名。
       • password：目标数据库的密码。
       • column：要写入的字段列表，应与数据源读取器中的字段列表对应。
       • postSql：写入数据到目的表后，会执行这里的标准语句。
       • preSql：写入数据到目的表前，会先执行这里的标准语句，例如：清空表数据。
       • connection：目标数据库连接信息，包括JDBC URL和要写入的表名等。

{
  "job": {
    "setting": {
      "speed": {
        "channel": "4"
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "mysql_user",
            "password": "mysql_password",
            "column": ["id", "name", "age"],
            "connection": [
              {
                "jdbcUrl": ["jdbc:mysql://localhost:3306/source_db"],
                "table": ["source_table"]
              }
            ]
          }
        },
        "writer": {
          "name": "sqlserverwriter",
          "parameter": {
            "username": "sqlserver_user",
            "password": "sqlserver_password",
            "column": ["id", "name", "age"],
            "connection": [
              {
                "jdbcUrl": "jdbc:sqlserver://localhost:1433;databaseName=target_db",
                "table": ["target_table"]
              }
            ]
          }
        }
      }
    ]
  }
}