Hive支持开源MySQL和Postgres元数据库，本章节以对接开源MySQL和Postgres数据库进行说明。 约束与限制 当外置元数据到MySQL后，Hive仅表名、字段名、表描述支持中文，其余暂不支持。 适用于 MRS 3.x及以后版本。 步骤一：安装数据库并上传驱动包 安

查看更多 →

GaussDB (for MySQL)数据库安全设置 账户密码等级设置 GaussDB(for MySQL)管理控制台上数据库密码复杂度，请参见购买实例中的数据库配置表格。 GaussDB(for MySQL)对在客户端新创建的数据库用户，设置了密码安全策略： 口令长度至少8个字符。

查看更多 →

云数据库RDS for MySQL接入LTS 支持云数据库RDS for MySQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS

查看更多 →

新建MySQL数据连接 如果您需要连接自建的MySQL数据库，您需要先创建一个MySQL数据连接。 前提条件 您已获取MySQL数据源的地址、端口以及数据库用户名和密码，且该用户必须具备所需连接的数据库的查询（SELECT）权限。 为了使 DLV 大屏与MySQL数据源网络互通，您可

查看更多 →

新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，需要先以root用户登录到数据库执行如下SQL命令为该数据库用户进行赋权，其中${db_name}与${

查看更多 →

WDR Snapshot 数据表 WDR Snapshot数据表命名原则：snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图。 初始用户或者监控管理员用户具有权限查看WDR Snapshot数据表。 父主题： WDR Snapshot

查看更多 →

Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则

查看更多 →

Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一，该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。

查看更多 →

WDR Snapshot 数据表 WDR Snapshot数据表命名原则： snap_{源数据表}。 WDR Snapshot数据表来源为DBE_PERF Schema下的视图，WDR Snapshot在启动后（打开GUC参数enable_wdr_snapshot）会触发创建WDR

查看更多 →

选择实例，用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式，由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述

查看更多 →

开发和生产环境的 数据湖 服务中，新建数据库、数据库模式（仅DWS需要）、数据表等。 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、E CS ），使用两套集群资源，两套环境中的数据库、数据库模式（仅DWS需要）和数据表必须保持同名。 对于Serverl

查看更多 →

作业名称：输入便于记忆、区分的作业名称，例如：“mysql2dws”。 源端作业配置 源连接名称：选择步骤2：创建连接章节中创建的MySQL连接“mysqllink”。 使用SQL语句：选择“否”。 模式或表空间：选择从MySQL的哪个数据库导出表。 表名：选择导出哪张表。 其他可选参

查看更多 →

Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： Hudi应用开发规范

查看更多 →

”模块，进入数据目录页面。 选择“数据权限 > 数据表权限”，在“我的权限”页签中，支持如下操作： 操作 > 查看，查看用户已申请的权限详情。 操作 > 编辑，可修改用户已申请的数据表权限。 操作 > 交还，可交还用户已申请的数据表权限。 图2 管理表权限 审计用户权限 管理员可

查看更多 →

创建数据表开启标签索引 功能介绍 建表功能同创建表，在此基础上，表属性配置标签索引schema。 样例代码 public void testCreateTable() { LOG .info("Entering testCreateTable."); HTableDescriptor

查看更多 →

数据库测试程序 执行测试程序，查看需要迁移的当前 服务器 资源消耗，模拟真实业务场景。 执行数据库压测脚本 使用MySQL命令登录数据库，并创建测试数据库“loadtest”，用 弹性云服务器 ECS的私网IP替换命令中的【<mysql-ip>】命令如下： mysql -u root -h

查看更多 →

元数据采集 支持 mysql、sqlserver、oracle、postgresql、db2 等主流关系型数据库； 支持 hive、greenplum、clickhouse 等分布式分析型数据库； 支持 hbase、kudu、mongodb 等 NoSQL 数据库； 支持 kafka、hdfs

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录 DLI 管理控制台，单击“数据管理

查看更多 →

FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置： 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'

查看更多 →

FlinkSQL Doris数据表开发规则 提前在Doris中创建表： Flink作业在Doris中找不到对应表会报错，所以需要提前在Doris中创建好对应的表。 Doris作为Sink表时需开启CheckPoint： Flink作业在触发CheckPoint时才会往Doris表中写数据。

查看更多 →

jar”，具体MySQL jdbc驱动程序选择参见下表。 表1 版本信息 jdbc驱动程序版本 MySQL版本 Connector/J 5.1 MySQL 4.1、MySQL 5.0、MySQL 5.1、MySQL 6.0 alpha Connector/J 5.0 MySQL 4.1、MySQL

查看更多 →