新建MySQL连接 本章节以新建MySQL连接为例，介绍如何建立 DataArts Studio 与数据库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的 数据湖 （如DataArts Studio所支持的数据库、云服务等）。 在创建DWS类型的数据连接前，您需

查看更多 →

索条件中需要至少包含一个分区键字段，对于含有多个分区键的分区表，包含任意分区键子集即可。目前分区表动态剪枝仅支持PBE（Prepare/Bind/Execute）场景和参数化路径场景。 PBE动态剪枝 参数化路径动态剪枝 父主题： 分区剪枝

查看更多 →

索条件中需要至少包含一个分区键字段，对于含有多个分区键的分区表，包含任意分区键子集即可。目前分区表动态剪枝仅支持PBE场景和参数化路径场景。 PBE动态剪枝 参数化路径动态剪枝 父主题： 分区剪枝

查看更多 →

索条件中需要至少包含一个分区键字段，对于含有多个分区键的分区表，包含任意分区键子集即可。目前分区表动态剪枝仅支持PBE（Prepare/Bind/Execute）场景和参数化路径场景。 PBE动态剪枝 参数化路径动态剪枝 父主题： 分区剪枝

查看更多 →

索条件中需要至少包含一个分区键字段，对于含有多个分区键的分区表，包含任意分区键子集即可。目前分区表动态剪枝仅支持PBE场景和参数化路径场景。 PBE动态剪枝 参数化路径动态剪枝 父主题： 分区剪枝

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

通。 新建MySQL数据连接 登录 DLV 管理控制台。 在“我的数据”页面，单击页面最上方的工作空间下拉列表并选择所需访问的工作空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“MySQL”，然后配置相关参数。 图2 新建MySQL数据连接

查看更多 →

动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102

查看更多 →

空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“云数据库 MySQL”，然后配置相关参数。 图2 新建RDS MySQL数据连接 连接RDS MySQL时，相关参数如表1所示。 表1 RDS MySQL数据连接参数 参数名 说明 名称

查看更多 →

Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证

查看更多 →

到远端仓库，完成备份作业操作。 如果备份的表是动态分区表，备份之后会自动禁用动态分区属性，在执行数据恢复操作前需手动将该表的动态分区属性启用，命令为： ALTER TABLE tbl1 SET ("dynamic_partition.enable"="true") 数据备份操作不

查看更多 →

2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的OID列。 示例：t1_hash为一个分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的oid列。 示例1：t1_hash为一个一级分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的oid列。 示例1：t1_hash为一个分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的OID列。 示例：t1_hash为一个一级分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。

查看更多 →

选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库 MySQL连接的参数。 图4 创建MySQL连接 单击“显示高级属性”可查看更多可选参数，具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明

查看更多 →

可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。

查看更多 →

最新动态 本文介绍了图引擎服务GES各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 画布增加点/边的删除和编辑功能 图编辑器画布添加删除/编辑点边的功能。 商用 在绘图区分析图

查看更多 →