3306，“源地址”为Hive的MetaStore实例所在的所有节点IP的规则。 Ranger仅支持对接RDS服务MySQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库，版本号为：MySQL 5.7.x、MySQL

查看更多 →

本实践预计时长：1小时，基本流程如下： 创建 MRS 分析集群（选择Hive、Spark、Tez组件）。 通过将本地txt数据文件上传至OBS桶，再通过OBS桶导入Hive，并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部 服务器 。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台，选择“大数据

查看更多 →

使用 CDM 服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS

查看更多 →

不依赖区分列是否有创建索引。 mysql-fastpath-connector：MySQL数据库专用连接器，使用MySQL的mysqldump和mysqlimport工具进行数据的导入导出，相对generic-jdbc-connector来说，导入导出速度更快。 sftp-connector：SFTP数据源连接器。

查看更多 →

Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题： 组件介绍

查看更多 →

Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题： Connector列表

查看更多 →

多表连接场景下DISTINCT优化 对于多表连接+DISTINCT场景，MySQL 8.0需要扫描表连接后的结果，当表连接数量多或基表数据量大时，需要扫描的数据量很大，导致执行效率很低。 为了提升DISTINCT，尤其多表连接下DISTINCT的查询效率，TaurusDB在执行优

查看更多 →

多表连接场景下DISTINCT优化 对于多表连接+DISTINCT场景，MySQL 8.0需要扫描表连接后的结果，当表连接数量多或基表数据量大时，需要扫描的数据量很大，导致执行效率很低。 为了提升DISTINCT，尤其多表连接下DISTINCT的查询效率，TaurusDB在执行优

查看更多 →

Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的会

查看更多 →

使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。

查看更多 →

在顶部菜单栏选择“导入·导出”>“导入”。 单击“新建任务”。 在“新建任务”窗口中配置任务信息。 表4 参数说明 参数名称 描述 导入类型 根据导出文件的类型选择。目前仅支持SQL和CVS类型的文件。 文件来源 DAS支持从本地选取文件导入，同时也支持从OBS桶中直接选择文件进行导入操作。

查看更多 →

类型”中选择“HIVE”，设置数据源信息。 表2 数据源配置参数说明 参数名 解释说明 示例 Hive实例 在Hive作业中，Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加，则此作业无法正常运行。 hive 个数 配置数

查看更多 →

使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的会

查看更多 →

云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型

查看更多 →

云搜索 服务（ CSS ） 导入数据到 CS S推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型

查看更多 →

类型”中选择“HIVE”，设置数据源信息。 表2 数据源配置参数说明 参数名 解释说明 示例 Hive实例 在Hive作业中，Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加，则此作业无法正常运行。 hive 个数 配置数

查看更多 →

针对 Kafka 等流式实时数据的质量稽核，还内置数据延迟和数据断流等规则进行支持。 图6 单表质量检测 多表对比分析 支持针对 Hive、Kudu、Oracle、MySQL、SQLServer、impala 等数据源类型，从一致性、及时性等数据质量指标集成多个质量规则，对指定的

查看更多 →

云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型

查看更多 →

云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型

查看更多 →

云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型

查看更多 →