Broker Load导入任务的数据量超过阈值

现象描述

使用Broker Load导入数据时报错：

Scan bytes per broker scanner exceed limit:xxx

原因分析

BE处理的单个导入任务的最大数据量为3GB，超过该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。

处理步骤

根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下：

1. 登录FusionInsight Manager，选择“集群 > 服务 > Doris”，在概览界面查看“Leader所在的主机”的IP地址，确认主FE所在节点。
2. 单击“实例”，单击IP地址为1查看到的BE实例，选择“实例配置 > 全部配置 BE（角色） > 自定义”，新增如下参数：
   • max_broker_concurrency：值为BE节点个数。
   • max_bytes_per_broker_scanner：值为待导入文件大小/BE节点个数。
   

   配置项仅在Leader FE的“fe.conf”中修改才会生效。

3. 单击“保存”保存配置，并重启配置过期的实例。