Doris JDBC、StreamLoad写入方式最佳实践

使用场景与选择

在数据集成服务中，Doris提供了多种数据写入方式，主要包括JDBC、StreamLoad。这些方式各有特点和适用场景，用户可以根据实际需求进行选择。

JDBC方式

• 特点：
  • 通用性：JDBC是一种标准的数据库连接方式，适用于大多数支持JDBC的数据库。
  • 灵活性：支持复杂的SQL操作，如数据插入、更新、删除等。
  • 易用性：对用户友好，操作简单，易于理解和使用。
• 使用场景：
  • 小规模数据写入：适用于数据量较小的场景，如单条或少量数据的插入。
  • 复杂数据操作：需要执行复杂的SQL语句，如带有条件的插入、更新操作。
  • 与其他系统集成：当数据集成服务需要与多种数据库系统进行交互时，JDBC是一种通用的选择。
• 示例：

  INSERTINTO my_table (column1, column2)VALUES(value1, value2);

StreamLoad方式

• 特点：
  • 高效性：StreamLoad是Doris提供的高效数据导入方式，支持批量数据的快速写入。
  • 流式写入：数据以流的形式写入Doris，适合大规模数据的连续导入。
• 使用场景：

  大规模数据导入：适用于需要快速导入大量数据的场景，如数据仓库的批量加载。

• 示例：

  curl --location-trusted -XPUT -T data.csv 'http://<fe_host>:8030/api/my_database/my_table/_stream_load'