跨源认证概述
什么是跨源认证?
跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。
- 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。
Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。
- 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复配置数据源认证信息,提高数据源认证的安全性,便于DLI安全访问数据源。
本节操作为您介绍DLI提供的跨源认证的使用方法。
约束与限制
- 仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。
- 仅在2023年5月1日后创建的队列,支持Flink作业使用跨源认证。
- DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
- CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。
- Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。
- Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。
- Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。
跨源认证类型
DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。
- CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。
- Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。
- Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。
- Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源,配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证。
支持跨源认证的数据源与作业类型
不同类型的作业支持跨源认证的数据源与认证方式不同。
跨源认证类型 |
数据源 |
约束与限制 |
---|---|---|
CSS |
CSS |
CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 |
Password |
DWS、RDS、DDS、Redis |
- |
表类型 |
跨源认证类型 |
数据源 |
约束与限制 |
---|---|---|---|
源表 |
Kerberos |
HBase |
MRS安全集群已开启Kerberos认证。 |
Kafka |
MRS Kafka开启Kerberos认证。 |
||
Kafka_SSL |
Kafka |
DMS Kafka开启SASL_SSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 |
|
Password |
DWS、RDS、Redis |
- |
|
结果表 |
Kerberos |
HBase |
MRS安全集群已开启Kerberos认证。 |
Kafka |
MRS Kafka开启Kerberos认证。 |
||
Kafka_SSL |
Kafka |
DMS Kafka开启SASL_SSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 |
|
Password |
DWS、RDS、CSS、Redis |
- |
|
维表 |
Kerberos |
HBase |
MRS安全集群已开启Kerberos认证。 |
Password |
DWS、RDS、Redis |
- |