中软国际数据治理专业服务解决方案实践

spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。

查看更多 →

指定本地文件系统上的文件。 文件名不能以下横线（_）或点（.）开头，以这些开头的文件会被忽略。 如下所示，如果用户test_hive load数据，正确的权限如下： [root@192-168-1-18 duan]# hdfs dfs -ls /tmp/input2 16/03/21

查看更多 →

fail to load model json 问题现象 judge日志中显示trainModel is null或trainModel is {}，并且提示fail to load model json，表示训练完成后judge未成功加载训练模型。 解决方法 依次单击“初始化D

查看更多 →

ERROR - fail to load 问题现象 judge日志中出现ERROR - fail to load错误提示，如下图 可能原因 日志中提示加载模型失败，可能是因为容器在启动时加载模型失败。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”，重启ju

查看更多 →

LOAD数据到OBS外表报错：IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中，使用LOAD DATA命令导入数据到 DLI 表中时报如下错误： error.DLI.0001: Illeg

查看更多 →

使用Broker Load方式导入OBS数据至Doris Stream Load导入Doris数据需依赖客户端读取，再推送到Doris。Broker Load则是将导入请求发送给Doris，由Doris主动拉取数据，因此如果要导入的数据存储在对象存储中，使用Broker Load是最便捷的。使用Broker

查看更多 →

Broker Load导入任务的数据量超过阈值 现象描述 使用Broker Load导入数据时报错： Scan bytes per broker scanner exceed limit:xxx 原因分析 BE处理的单个导入任务的最大数据量为3GB，超过该值的待导入文件需要通过调整Broker

查看更多 →

集群突现load高的故障排查 问题现象 集群任务被长时间拒绝，且大量任务出现卡死的情况，在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下： 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤

查看更多 →

使用Stream Load时报RPC超时错误 问题现象 导入数据时BE打开tablet writer的RPC超时，报错： failed to open tablet writer, error=RPC call is timeout, error_text=[E1008] Reached

查看更多 →

当前登录的用户不具备操作此目录的权限或者在HiveServer所在节点上没有此目录。 解决方案 通常不建议使用本地文件加载数据到hive表。 建议先将本地文件放入HDFS，然后从集群中加载数据。 Hive对load data local inpath命令有如下权限要求，请对照下述要求是否满足： 由于所有的命

查看更多 →

输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败，报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败 HiveServer和HiveHCat进程故障

查看更多 →

Doris数据导入 使用Broker Load方式导入数据至Doris 使用Broker Load方式导入OBS数据至Doris 使用Stream Load方式导入数据至Doris 父主题： 使用Doris

查看更多 →

全量阶段失败报错，关键词“load table: *** failed” 场景描述 全量迁移或同步期间DRS任务报错，日志提示信息：service DATAMOVE failed, cause by: load table: `%s`.`%s` failed。 可能原因 源库表结

查看更多 →

---- 用新数据覆盖原有数据 LOAD DATA LOCAL INPATH '/opt/hive_examples_data/employee_info.txt' OVERWRITE INTO TABLE employees_info; ---- 保留原有数据，将新数据追加到表中

查看更多 →

MySQL客户端连接Doris报错“Read timed out” BE运行数据导入或查询任务报错 Broker Load导入数据时报超时错误 使用Broker Load导入数据报错 父主题： 使用Doris

查看更多 →

配置Hive目的端参数 支持快速导入数据到 MRS 的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。

查看更多 →

包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable

查看更多 →

异构迁移是指的源端与目标端OS或者ASE数据库、SAP软件版本之间存在差异。对于异构迁移，推荐使用SAP自带的R3load Export/Import进行迁移。 方案：使用SAP的System Copy（R3load） 方案特点：开始执行R3load的Export功能时就需要业务停机，业务停机时间取决于数据库大小

查看更多 →

总览 导入（Load）功能就是将用户的原始数据导入到Doris中。导入成功后，用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案，可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load

查看更多 →

批量数据导入 Broker Load Stream Load 父主题： 数据导入

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除segment操作只

查看更多 →