更新时间:2024-05-16 GMT+08:00
OBS表如何映射为DLI的分区表?
该示例将car_info数据,以day字段为分区字段,parquet为编码格式(目前仅支持parquet格式),转储数据到OBS。更多内容请参考《数据湖探索SQL语法参考》。
1 2 3 4 5 6 7 8 9 10 11 12 13 |
create sink stream car_infos ( carId string, carOwner string, average_speed double, day string ) partitioned by (day) with ( type = "filesystem", file.path = "obs://obs-sink/car_infos", encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); |
数据最终在OBS中的存储目录结构为:obs://obs-sink/car_infos/day=xx/part-x-x。
数据生成后,可通过如下SQL语句建立OBS分区表,用于后续批处理:
- 创建OBS分区表。
1 2 3 4 5 6 7 8
create table car_infos ( carId string, carOwner string, average_speed double ) partitioned by (day string) stored as parquet location 'obs://obs-sink/car-infos';
- 从关联OBS路径中恢复分区信息。
1
alter table car_infos recover partitions;
父主题: Flink SQL作业相关问题
Flink SQL作业相关问题 所有常见问题
- Flink SQL作业的消费能力如何,即一天可以处理多大的数据量?
- Flink SQL中的temp流中数据是否需要定期清理,如何清理?
- 创建Flink SQL作业时选择OBS桶,提示未授权
- Flink SQL作业将OBS表映射为DLI的分区表
- Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知
- OBS表如何映射为DLI的分区表?
- 在Flink SQL作业中创建表使用EL表达式,作业运行报DLI.0005错误
- Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据
- Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误
- Flink SQL作业读取DIS数据报Not authorized错误
- Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
- Flink Opensource SQL如何解析复杂嵌套 JSON?
- Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致?
- Flink SQL和Flink Opensource SQL的语法有什么区别?
- Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
more