并行程序设计能干什么 更多内容
  • FlinkSQL算子并行度

    FlinkSQL算子并行度 本章节适用于 MRS 3.5.0及以后版本。 使用场景 通过CompiledPlan提交的作业,算子的并行度、算子的TTL都以CompiledPlan中的值为准,而不是“flink-conf.yaml”中的值。FlinkSQL支持通过修改作业的CompiledPlan来设置算子并行度。

    来自:帮助中心

    查看更多 →

  • 配置Flink任务并行度

    配置Flink任务并行度 操作场景 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀

    来自:帮助中心

    查看更多 →

  • 配置并行文件系统

    单击“云存储配置”模块中的“编辑”,进入云存储配置页面。 单击选择“配置并行文件系统”。 图2 配置并行文件系统 从下拉框中选择已授权的并行文件系统名称。 如需新增授权,可以单击下拉框右侧“去授权并行文件系统”进行添加,具体操作请参考授权并行文件系统。 参考表1配置容器挂载的路径和权限。 表1 参数说明

    来自:帮助中心

    查看更多 →

  • 配置并行处理算子

    配置并行处理算子 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时,配置API工作流的失败策略。 任一分支失败则终止:表示当并行分支中存在失败情况时,则此API工作流置为失败状态,不再继续执行。 分支失败

    来自:帮助中心

    查看更多 →

  • 创建并行文件系统

    创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务 ”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。

    来自:帮助中心

    查看更多 →

  • 取消挂载并行文件系统

    取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。

    来自:帮助中心

    查看更多 →

  • 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor?

    什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。

    来自:帮助中心

    查看更多 →

  • 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor?

    什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。

    来自:帮助中心

    查看更多 →

  • 挂载并行文件系统失败

    挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:

    来自:帮助中心

    查看更多 →

  • 指定扫描并行度的Hint

    指定扫描并行度的Hint 功能描述 在并行的执行计划中,指定表扫描的并行度。 语法格式 scandop([@queryblock] table dop_num) 参数说明 @queryblock请参见指定Hint所处的查询块Queryblock,可省略,表示在当前查询块生效。 t

    来自:帮助中心

    查看更多 →

  • 指定扫描并行度的Hint

    指定扫描并行度的Hint 功能描述 在并行的执行计划中,指定表扫描的并行度。 语法格式 scandop([@queryblock] table dop_num) 参数说明 @queryblock请参见指定Hint所处于的查询块Queryblock,可省略,表示在当前查询块生效。

    来自:帮助中心

    查看更多 →

  • 并行文件系统约束限制

    并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义 域名 ,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。

    来自:帮助中心

    查看更多 →

  • 通过并行SCAN提升全库扫描速度

    通过并行SCAN提升全库扫描速度 当实例中的key数量较多时,传统的SCAN命令扫描耗时久,开源Redis较难解决该痛点问题。GeminiDB Redis基于分布式架构,支持用户同时对多个数据分区进行并行扫描,达到并行提速效果。 注意事项 该方案仅适用于GeminiDB Redis集群版实例。

    来自:帮助中心

    查看更多 →

  • 配置了云存储配置后,为什么实例异常了?

    配置了云存储配置后,为什么实例异常了? 当配置云存储的并行文件系统时,如果选择的并行文件系统中的并没有创建相应的子路径,则实例会为异常。 示例: 图1 挂载信息 图2 相应的并行文件系统中并没有test文件夹或文件 图3 报错事件 解决方法 登录OBS控制台。 选择“并行文件系统”,单击

    来自:帮助中心

    查看更多 →

  • 取消挂载并行文件系统失败

    取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法:

    来自:帮助中心

    查看更多 →

  • 动态挂载OBS并行文件系统

    动态挂载OBS并行文件系统 什么是动态挂载OBS并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统。 在ModelArts运行

    来自:帮助中心

    查看更多 →

  • 并行文件系统是否支持资源包?

    并行文件系统是否支持资源包? 当前如下资源包同时支持并行文件系统及对象桶: 标准存储资源包:包括单AZ及多AZ 归档存储资源包 公网流出流量包 由于并行文件系统暂时不支持跨区域复制和回源功能,所以无法使用对应的跨区域复制流量包和回源流量包。 父主题: 计费相关

    来自:帮助中心

    查看更多 →

  • 什么是部署

    消息。 并行部署 可以在一个应用中选择多个主机和多个环境,实现多主机并行部署。 部署详情 可以查看部署详情,可视化显示部署进程、当前部署应用信息。 部署日志 部署详情页面可以查看部署日志,多主机并行部署支持分主机日志查看。 流水线集成 可以在流水线集成应用,编排应用并行或者串行执行;支持流水线参数。

    来自:帮助中心

    查看更多 →

  • 为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job?

    什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 问题 为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 回答 Spark SQL对

    来自:帮助中心

    查看更多 →

  • 对象存储服务 OBS

    桶内无对象,为什么会产生流量? 已购买资源包,为什么仍然产生按需计费? 购买了回源流量包是否还需要购买公网流出流量包? 多AZ存储资源包的作用? 桶内无对象,为什么还在扣费? 更多 产品咨询 OBS如何收费? OBS支持HTTPS访问吗? OBS、EVS和SFS有什么区别? OBS单AZ和多AZ有什么区别?

    来自:帮助中心

    查看更多 →

  • 通用类

    通用类 CloudTable集群能够提供什么服务? 为什么要选择CloudTable服务? 创建CloudTable HBase集群要准备什么? 使用CloudTable服务时需要关注什么? CloudTable HBase集群支持哪些压缩算法? 能停止CloudTable服务吗?

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了