更新时间:2024-09-27 GMT+08:00

跨源认证概述

什么是跨源认证?

跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。

  • 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。

    Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证

  • 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复配置数据源认证信息,提高数据源认证的安全性,便于DLI安全访问数据源。

    SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证。

本节操作为您介绍DLI提供的跨源认证的使用方法。

约束与限制

  • 仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。
  • 仅在2023年5月1日后创建的队列,支持Flink作业使用跨源认证。
  • DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
    • CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。
    • Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。
    • Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。
    • Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。

跨源认证类型

DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。

  • CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证
  • Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证
  • Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证
  • Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源,配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证

支持跨源认证的数据源与作业类型

不同类型的作业支持跨源认证的数据源与认证方式不同。

  • Spark SQL支持跨源认证的数据源与约束限制请参考表1
  • Flink OpenSource SQL 1.12支持跨源认证的数据源与约束限制请参考表2
表1 Spark SQL支持跨源认证的数据源

跨源认证类型

数据源

约束与限制

CSS

CSS

CSS集群版本选择“6.5.4”或“6.5.4”以上版本。

CSS集群已开启“安全模式”。

Password

DWS、RDS、DDS、Redis

-

表2 Flink OpenSource SQL 1.12支持跨源认证的数据源

表类型

跨源认证类型

数据源

约束与限制

源表

Kerberos

HBase

MRS安全集群已开启Kerberos认证。

Kafka

MRS Kafka开启Kerberos认证。

Kafka_SSL

Kafka

DMS Kafka开启SASL_SSL认证。

MRS Kafka开启SASL认证。

MRS Kafka开启SSL认证。

Password

DWS、RDS、Redis

-

结果表

Kerberos

HBase

MRS安全集群已开启Kerberos认证。

Kafka

MRS Kafka开启Kerberos认证。

Kafka_SSL

Kafka

DMS Kafka开启SASL_SSL认证。

MRS Kafka开启SASL认证。

MRS Kafka开启SSL认证。

Password

DWS、RDS、CSS、Redis

-

维表

Kerberos

HBase

MRS安全集群已开启Kerberos认证。

Password

DWS、RDS、Redis

-