Spark作业报错“UnknownScannerExeception”如何处理?
问题现象
Spark作业运行查看日志有些WARN日志,作业运行很慢,Caused by显示:UnknownScannerExeception。
解决方法
运行Spark作业前,调整hbase.client.scanner.timeout.period参数(例如从60秒调高到120秒)。
登录Manage界面,选择“集群 > 服务 > HBase > 配置 > 全部配置”,搜索参数“hbase.client.scanner.timeout.period”,并修改参数值为“120000”(参数单位为毫秒)。