数据保护技术
数据完整性
通过数据校验,保证数据在存储、传输过程中的数据完整性。
MRS的用户数据保存在HDFS中,HDFS默认采用CRC32C算法校验数据的正确性,同时也支持CRC32校验算法,CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常(不完整)就上报给客户端,让客户端重新写入数据。客户端从DataNode读数据的时候也一样要检查数据是否完整,如果发现数据不完整,会尝试从其他的DataNode节点上读取数据。
数据保密性
MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。
业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参见使用Hive列加密功能),可以在创建表时指定加密算法实现对敏感数据的加密存储。HBase支持加密HFile和WAL内容,用户可以配置AES和SMS4算法进行数据的加密存储(参见加密HFile和WAL内容)。
数据传输安全性
在MRS集群中,Web通道访问支持HTTPS加密;RPC通信支持SASL认证,并可配置对称密钥的方式进行加密。
组件级别的传输加密配置如下所示:
- HDFS配置传输加密:请参见配置HDFS数据传输加密。
- Kafka配置传输加密:请参见配置Kafka数据传输加密。
- Flume配置传输加密:请参见配置Flume加密传输。
- Flink配置传输加密:请参见认证和加密章节的加密传输操作指导。
数据容灾与备份
- 容灾:MRS支持将数据备份到对象存储服务(OBS)中,支持跨区域的高可靠性。
- 备份:MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对HDFS、HBase、Hive等组件的业务数据备份。
关于备份能力详细的内容介绍请参见备份恢复简介。