配置表与流JOIN

操作步骤

1. 确保集群安装完成，包括HDFS、YARN、安全Redis和Flink。
   

   由于在安全集群模式下也可以安装普通的Redis，通过安装时选择“REDIS_SECURITY_ENABLED”配置选项进行控制，“true”为安全Redis，“false”为普通Redis。Redis安全模式下会进行kerberos认证及鉴权，会损耗性能；Redis普通模式下，内网客户端无需认证可直接访问Redis。该部分只对安全Redis的操作进行说明。

2. 创建Redis集群，添加Redis用户及权限配置，并下载“user.keytab”和“krb5.conf”文件，Redis的详细信息请参考FusionInsight Manager中的使用Redis组件。
3. 修改“import.properties”和“read.properties”配置文件，这两个配置文件位于样例代码的config目录下。
   • “import.properties”配置参考如下：

     #path to read csv files, it can be file or directory
     CsvPath=config/configtable.csv
     
     #csv file headers exist in file first line or not
     CsvHeaderExist=true
     #csv file headers, also the redis field names
     #Notice: if CsvHeaderExist false, you must set it, if CsvHeaderExist true, it read from csv file
     ColumnNames=username,age,company,workLocation,educational,workYear,phone,nativeLocation,school
     
     #redis security mode open or not
     Redis_Security=true
     #redis hostname/ip and port when you need to connect to redis
     Redis_IP_Port=SZV1000064084:22400,SZV1000064082:22400,SZV1000064085:22400
     #redis user principal
     Redis_Principal=test11@<系统域名>
     #redis keytab file path
     Redis_KeytabFile=config/user.keytab
     #redis krb5 file path
     Redis_Krb5File=config/krb5.conf

     

     用户可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。

   • “read.properties”配置参考如下：

     #the redis field names, configure which fields you need to read, Notice you need English field names
     ReadFields=username,age,company,workLocation,educational,workYear,phone,nativeLocation,school
     #redis security mode open or not
     Redis_Security=true
     #redis hostname/ip and port when you need to connect to redis
     Redis_IP_Port=SZV1000064084:22400,SZV1000064082:22400,SZV1000064085:22400
     #redis user principal
     Redis_Principal=test11@<系统域名>
     #redis keytab file path
     Redis_KeytabFile=config/user.keytab
     #redis krb5 file path
     Redis_Krb5File=config/krb5.conf

4. 在Flink客户端下创建config目录，并将“user.keytab”、“krb5.conf”、“log.txt”、“configtable.csv”、“import.properties”和“read.properties”文件放置在config目录下，例如"/opt/client/Flink/flink/config/configtable.csv"等。
   

   “log.txt”和“configtable.csv”在样例代码的data目录下获取。