UI查看task日志，发现报错中提到json体，基本确定原因为数据格式问题。 排查客户实际数据，发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题： 通过udf成jar包的形式 修改配置 修改源数据格式，再次执行作业，无问题。 父主题： Flink SQL作业类

查看更多 →

AND username NOT LIKE '%tester%' UDF嵌套不可过长 多个UDF嵌套时表达式长度很长，Flink优化生成的代码超过64KB导致编译错误。建议UDF嵌套不超过6个。 【示例】UDF嵌套： SELECT SUM(get_order_total(order_id))

查看更多 →

上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建 DLI 的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤 新建Mave

查看更多 →

Manager，访问Flink Web UI，请参考访问FlinkServer WebUI界面。 查看Jar包存储路径。 记录UDF的存储路径 单击“UDF管理”，在UDF列表查看并记录其“存储路径”。 记录第三方依赖的存储路径 单击“依赖管理”，在依赖列表查看并记录其“存储路径”。 为指定依赖配置权限。

查看更多 →

Invalid function 'test_udf' (state=42000,code=10011) 在多个HiveServer之间使用UDF也存在上述问题。例如，在HiveServer1中使用HiverServer2创建的UDF，如果不及时同步元数据信息，连接HiveServer1的客户端也会提示上述错误信息。

查看更多 →

准备好的UDF jar文件。 填写UDF名称以及描述信息后，单击“确定”。 “UDF名称”最多可添加10项，“名称”可自定义，“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后， 服务器 默认保留5分钟，5分钟内单击确定则完成UDF创建，超

查看更多 →

填写UDF名称以及描述信息后，单击“确定”。 “UDF名称”最多可添加10项，“名称”可自定义，“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后，服务器默认保留5分钟，5分钟内单击确定则完成UDF创建，超时后单击确定则创建UDF失败并弹出错误提示：本地UDF文件路径有误。

查看更多 →

UDTF)：udf1、udf2分别对应资源udf1.jar、udf2.jar。如果两个Jar包里都包含一个“com.xxx.bigdata.iotdb.UDTFExample”类，当同一个SQL中同时使用到这两个UDF时，系统会随机加载其中一个类，导致UDF执行行为不一致。 UDF查询。

查看更多 →

Flink Opensource SQL如何解析复杂嵌套 JSON？ kafka message { "id": 1234567890, "name": "swq", "date": "1997-04-25", "obj": { "time1": "12:12:12"

查看更多 →

多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (

查看更多 →

目前暂不支持除以上类型外的更复杂数据类型的UDF、UDAF和UDTF。 当前只支持入参数量小于或等于5个的Hive UDF，大于5个入参的Hive UDF将无法被注册。 如果Hive UDF入参为null，系统调用Hive UDF将直接返回null，不会解析null作为入参的Hive UDF逻辑，这可能导致处理null值的Hive

查看更多 →

SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备ad

查看更多 →

为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败，例如，Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF： 在Hive端创建UDF。 通过JD BCS erver接口创建UDF。用户可以通过Spark Beeline

查看更多 →

创建IoTDB用户自定义函数（UDF） IoTDB UDF概述 运行IoTDB UDF样例程序 父主题： 使用IoTDB

查看更多 →

为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败，例如，Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF： 在Hive端创建UDF。 通过JDB CS erver接口创建UDF。用户可以通过Spark Beeline

查看更多 →

多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (

查看更多 →

关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据，可以使用异步模式创建表。 以下是一个示例的建表语句，展示了如何使用 JSON 格式选项来指定 OBS 中的路径： create table tb1 using json options(path

查看更多 →

SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备ad

查看更多 →

SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备ad

查看更多 →

在beeline客户端创建UDF时报错 问题现象 执行命令： create function fn_test3 as 'test.MyUDF' using jar 'hdfs:///tmp/udf2/MyUDF.jar' 报以下错误： Error: Error while compiling

查看更多 →

IoTDB自定义函数（UDF）样例程序 功能简介 该样例代码介绍如何实现一个简单的IoTDB自定义函数（UDF）。 详细信息可以参考UDF样例程序与操作章节。 代码样例 以下为代码片段示例： package com.huawei.bigdata.iotdb; import org

查看更多 →