并行执行 更多内容
  • 关于OBS并行导入

    置、编码格式、数据间的分隔符等信息。 详细请参见创建OBS外表。 - 执行导入数据 在创建好外表后,通过INSERT语句,将数据快速、高效地导入到目标表中。 详细请参见执行导入数据。 - 处理错误表 在数据并行导入发生错误时,请根据错误信息,处理导入错误,以保证导入数据的完整性。

    来自:帮助中心

    查看更多 →

  • 关于GDS并行导入

    关于GDS并行导入 INSERT和COPY方式执行数据导入时,是一个串行执行的过程,导入性能低,因此适用于小数据量的导入。对于大数据量的导入, GaussDB (DWS)支持使用GDS工具通过外表并行导入数据到集群。 当前版本的GDS已经支持从管道文件导入数据库,该功能使GDS的导入更加灵活多变。

    来自:帮助中心

    查看更多 →

  • 关于OBS并行导出

    关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在OBS 对象存储服务 器上,从而提高整体导出性能。

    来自:帮助中心

    查看更多 →

  • 关于GDS并行导出

    置、文件格式、编码格式、数据间的分隔符等信息。 详细内容请参见创建GDS外表。 - 执行导出数据。 在创建好外表后,通过INSERT语句,将数据快速、高效地导出到数据文件中。 详细内容请参见执行导出数据。 - 停止GDS。 数据导出完成后,停止GDS。 详细请参见停止GDS。 -

    来自:帮助中心

    查看更多 →

  • 设置并行度

    个节点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。

    来自:帮助中心

    查看更多 →

  • 如何并行创建索引?

    如何并行创建索引? 答:参考如下方法: --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

    来自:帮助中心

    查看更多 →

  • 如何并行创建索引?

    如何并行创建索引? 答:参考如下方法: --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

    来自:帮助中心

    查看更多 →

  • 并行文件系统

    并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。

    来自:帮助中心

    查看更多 →

  • 注意事项

    并行执行的执行过程中,当select的内容是函数类型时,会比非并行执行多出中间结果的存储过程,可能会导致浮点部分精度差别,导致最终结果有细微的差别。 截断问题 并行执行执行过程中,当select的内容是函数类型时,会比非并行执行多出中间结果的存储过程。在这个过程中,需要缓存函数的计算结果,可能出现截断(一般

    来自:帮助中心

    查看更多 →

  • 注意事项

    并行执行的执行过程中,当select的内容是函数类型时,会比非并行执行多出中间结果的存储过程,可能会导致浮点部分精度差别,导致最终结果有细微的差别。 截断问题 并行执行执行过程中,当select的内容是函数类型时,会比非并行执行多出中间结果的存储过程。在这个过程中,需要缓存函数的计算结果,可能出现截断(一般

    来自:帮助中心

    查看更多 →

  • 并行文件系统

    并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统

    来自:帮助中心

    查看更多 →

  • 并行文件系统

    并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?

    来自:帮助中心

    查看更多 →

  • 从OBS并行导入数据

    从OBS并行导入数据 关于OBS并行导入 从OBS导入 CS V、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据

    来自:帮助中心

    查看更多 →

  • 配置Flink任务并行度

    env.execute("Word Count Example"); 执行环境层次 Flink程序运行在执行环境中。执行环境为所有执行的算子、数据源、data sink定义了一个默认的并行度。 执行环境的默认并行度可以通过调用setParallelism()方法指定。例如: final

    来自:帮助中心

    查看更多 →

  • 设置Spark Core并行度

    个节点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。

    来自:帮助中心

    查看更多 →

  • 并行文件系统概述

    用户可以通过以下几种方式使用并行文件系统。 OBS桶的权限管理规则及权限要求同样适用于并行文件系统,用户在使用并行文件系统前需要确保具备OBS资源的访问权限。 表1 使用方式 方式 主要功能 相关链接 并行文件系统控制台 您可以在控制台创建并行文件系统,并进行查看、管理等基本操作。 创建并行文件系统

    来自:帮助中心

    查看更多 →

  • 编排工作流

    串行:表示当前阶段下的作业都将串行执行,阶段前图标表示串行。 并行:表示当前阶段下的作业都将并行执行,阶段前图标表示并行。 编辑阶段。单击已有阶段后的“”>“编辑”,在编辑阶段弹窗中编辑阶段信息,完成后单击“确定”。 删除阶段。单击已有阶段后的“”>“删除”,在弹窗中单击“确认”。 在“工

    来自:帮助中心

    查看更多 →

  • 配置并行文件系统

    单击“云存储配置”模块中的“编辑”,进入云存储配置页面。 单击选择“配置并行文件系统”。 图2 配置并行文件系统 从下拉框中选择已授权的并行文件系统名称。 如需新增授权,可以单击下拉框右侧“去授权并行文件系统”进行添加,具体操作请参考授权并行文件系统。 参考表1配置容器挂载的路径和权限。 表1 参数说明

    来自:帮助中心

    查看更多 →

  • 创建并行文件系统

    创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。

    来自:帮助中心

    查看更多 →

  • 配置并行处理算子

    配置并行处理算子 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时,配置API工作流的失败策略。 任一分支失败则终止:表示当并行分支中存在失败情况时,则此API工作流置为失败状态,不再继续执行。 分支失败

    来自:帮助中心

    查看更多 →

  • 编排工作流

    表3 作业配置信息 参数 配置说明 名称 自定义作业名称。 执行方式 选择作业串行/并行执行方式。 串行:表示当前作业下的任务都将串行执行,作业前图标表示串行。 并行:表示当前作业下的任务都将并行执行,作业前图标表示并行。 编辑作业。单击已有作业后的“”>“编辑”,在编辑作业信息

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了