并行程序设计能干啥 更多内容
  • 关于GDS并行导出

    关于GDS并行导出 使用GDS工具将数据从数据库导出到普通文件系统中,适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件,该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通

    来自:帮助中心

    查看更多 →

  • 如何并行创建索引?

    如何并行创建索引? 答:参考如下方法: --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

    来自:帮助中心

    查看更多 →

  • 如何并行创建索引?

    如何并行创建索引? 答:参考如下方法: --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

    来自:帮助中心

    查看更多 →

  • SMP并行执行

    各个算子的并行情况。 非适用场景: 生成计划时间占比很高的短查询场景。 不支持CN上的算子并行。 不支持不能下推的查询并行执行。 不支持子查询subplan的并行,以及包含子查询的算子并行。 资源对SMP性能的影响 SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会

    来自:帮助中心

    查看更多 →

  • SMP并行执行

    各个算子的并行情况。 非适用场景: 生成计划时间占比很高的短查询场景。 不支持CN上的算子并行。 不支持不能下推的查询并行执行。 不支持子查询subplan的并行,以及包含子查询的算子并行。 资源对SMP性能的影响 SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会

    来自:帮助中心

    查看更多 →

  • 使用外表并行导出

    使用外表并行导出 关于并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS 示例 父主题: 导出数据

    来自:帮助中心

    查看更多 →

  • 通过外表并行导入

    通过外表并行导入 关于并行导入 教程和最佳实践 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理错误表 停止GDS 示例 父主题: 导入数据

    来自:帮助中心

    查看更多 →

  • 并行文件系统

    并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统

    来自:帮助中心

    查看更多 →

  • 并行文件系统

    并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?

    来自:帮助中心

    查看更多 →

  • 从OBS并行导入数据

    从OBS并行导入数据 关于OBS并行导入 从OBS导入 CS V、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据

    来自:帮助中心

    查看更多 →

  • 并行文件系统

    并行文件系统 并行文件系统(Parallel File System)是 对象存储服务 (Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。

    来自:帮助中心

    查看更多 →

  • 配置并行文件系统

    单击“云存储配置”模块中的“编辑”,进入云存储配置页面。 单击选择“配置并行文件系统”。 图2 配置并行文件系统 从下拉框中选择已授权的并行文件系统名称。 如需新增授权,可以单击下拉框右侧“去授权并行文件系统”进行添加,具体操作请参考授权并行文件系统。 参考表1配置容器挂载的路径和权限。 表1 参数说明

    来自:帮助中心

    查看更多 →

  • 创建并行文件系统

    创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。

    来自:帮助中心

    查看更多 →

  • 配置并行处理算子

    配置并行处理算子 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时,配置API工作流的失败策略。 任一分支失败则终止:表示当并行分支中存在失败情况时,则此API工作流置为失败状态,不再继续执行。 分支失败

    来自:帮助中心

    查看更多 →

  • 配置Flink任务并行度

    配置Flink任务并行度 操作场景 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀

    来自:帮助中心

    查看更多 →

  • 设置Spark Core并行度

    个节点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。

    来自:帮助中心

    查看更多 →

  • 并行文件系统概述

    用户可以通过以下几种方式使用并行文件系统。 OBS桶的权限管理规则及权限要求同样适用于并行文件系统,用户在使用并行文件系统前需要确保具备OBS资源的访问权限。 表1 使用方式 方式 主要功能 相关链接 并行文件系统控制台 您可以在控制台创建并行文件系统,并进行查看、管理等基本操作。 创建并行文件系统

    来自:帮助中心

    查看更多 →

  • 挂载并行文件系统

    nux重启后,都需要重新挂载。 并行文件系统的容量请以实际使用情况为准。 您也可以设置开机自动挂载并行文件系统,具体操作请参见开机自动挂载并行文件系统。 一个并行文件系统支持挂载到多台 云服务器 ,但数据一致性需由您自行维护,避免出现多台云 服务器 同时对一个文件并发写入的情况。 桶级的

    来自:帮助中心

    查看更多 →

  • 配置Flink任务并行度

    配置Flink任务并行度 操作场景 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀

    来自:帮助中心

    查看更多 →

  • 并行文件系统约束限制

    并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义 域名 ,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。

    来自:帮助中心

    查看更多 →

  • 取消挂载并行文件系统

    取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了