更新时间:2025-03-26 GMT+08:00

执行数据导入

创建LakeFormation数据源

创建LakeFormation数据源,具体请参见《数据仓库服务用户指南》中的“管理LakeFormation数据源”章节。

创建External Schema

创建EXTERNAL SCHEMA。 SERVER名字填写创建的LakeFormation数据源名称,DATABASE填写要访问的LakeFormation的数据库,source填写内容为lakeformation,catalog填写为要访问的LakeFormation的catalog
1
2
3
4
5
6
DROP SCHEMA IF EXISTS ex1;  
CREATE EXTERNAL SCHEMA ex1     
    WITH SOURCE lakeformation          
         DATABASE 'default'          
         SERVER lf_server          
         catalog 'hive';

角色授权

  1. 查询当前用户。
    1
    select current_user; 
    
  2. 创建同名角色并授权。

    具体请参见《湖仓构建使用指南》中的“角色授权”章节。

执行数据导入

  1. 创建本地目标表。
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    DROP TABLE IF EXISTS product_info;
    CREATE TABLE product_info
    (
        _hoodie_commit_time text,
        _hoodie_commit_seqno text,
        _hoodie_record_key text,
        _hoodie_partition_path text,
        _hoodie_file_name text,
        product_price                integer        ,
        product_id                   char(30)       ,
        product_time                 date           ,
        product_level                char(10)       ,
        product_name                 varchar(200)   ,
        product_type1                varchar(20)    ,
        product_type2                char(10)       ,
        product_monthly_sales_cnt    integer        ,
        product_comment_time         date           ,
        product_comment_num          integer        ,
        product_comment_content      varchar(200)                   
    ) ;
    
  2. 从Hive表导入目标表。
    1
    INSERT INTO product_info SELECT * FROM ex1.product_info_orc; 
    
  3. 查询导入结果。
    1
    SELECT * FROM product_info;