AI&大数据

高精度,多场景,快响应,AI&大数据助力企业降本增效

 
 

    机器学习参数调优 更多内容
  • 算子级调优

    算子级 算子级介绍 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。通用的优化手段是EXPLAIN ANALYZE/PERFORMANCE命令查看执行过程的瓶颈算子,然后进行针对性优化。

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际案例 案例:选择合适的分布列 案例:建立合适的索引 案例:调整分布键 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询 案例:改写SQL排除剪枝干扰 案例:改写SQL消除in-clause 案例:调整查询重写GUC参数rewrite_rule 案例:使用DN

    来自:帮助中心

    查看更多 →

  • CarbonData调优思路

    CPU核数约等于: 并行任务数x扫描仪线程数。其中并行任务数为分割数和执行器数x执行器核数两者之间的较小值。 数据加载性能 数据加载性能与查询性能差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的

    来自:帮助中心

    查看更多 →

  • SQL调优指南

    经验总结:SQL语句改写规则 SQL关键参数调整 使用Plan Hint进行 使用向量化执行引擎进行 PLAN TRACE使用介绍 使用SQL PATCH进行 实际案例

    来自:帮助中心

    查看更多 →

  • SQL调优指南

    经验总结:SQL语句改写规则 SQL关键参数调整 使用Plan Hint进行 使用SQL PATCH进行 实际案例

    来自:帮助中心

    查看更多 →

  • SQL调优指南

    经验总结:SQL语句改写规则 SQL关键参数调整 使用Plan Hint进行 PLAN TRACE使用介绍 使用SQL PATCH进行 实际案例

    来自:帮助中心

    查看更多 →

  • 性能调优

    对于低任务量场景,调整抽取并发数是性能的最佳方式。 CDM 迁移作业支持设置作业抽取并发数,同时也可以设置集群最大抽取并发数。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。

    来自:帮助中心

    查看更多 →

  • 配置智能调优

    配置智能 背景信息 本章节介绍了如何配置智能,方便用户快速完成智能配置。 操作步骤 使能智能。 在服务首页快捷菜单栏,选择“常用 > 网络环境监控”,单击“查看详情”,跳转至智能首页。在首页,单击使能智能后的按钮,开启对应项。 添加重保AP。 使用场景:

    来自:帮助中心

    查看更多 →

  • 使用MaaS调优模型

    为准。 在“模型”列表中,当模型作业的“状态”变成“已完成”时,表示模型完成。 模型时长估算 时长表示作业的“状态”处于“运行中”的耗时。由于训练吞吐有上下限,因此计算出的时长是个区间。 计算公式:时长 = 经验系数 x Iterations ÷(卡数

    来自:帮助中心

    查看更多 →

  • FlexusRDS for PostgreSQL实例参数调优建议

    FlexusRDS for PostgreSQ L实例 参数建议 数据库参数是数据库系统运行的关键配置信息,设置不合适的参数值可能会影响业务。本文列举了一些重要参数说明,更多参数详细说明,请参见PostgreSQL官网。 通过控制台界面修改PostgreSQL参数值,请参见修改FlexusRDS for

    来自:帮助中心

    查看更多 →

  • Storm性能调优

    Storm性能 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于 MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑 当需要提升Storm数据量处理性能时,可以通过拓扑的操作提高效率。建议在可靠性要求不高的场景下进行优化。

    来自:帮助中心

    查看更多 →

  • Plan Hint调优概述

    Plan Hint概述 Plan Hint为用户提供了直接影响执行计划生成的手段,用户可以通过指定join顺序,join、scan方法,指定结果行数,等多个手段来进行执行计划的,以提升查询的性能。 GaussDB 还提供了SQL PATCH功能,在不修改业务语句的前提下通过创建SQL

    来自:帮助中心

    查看更多 →

  • 统计信息调优

    统计信息 统计信息介绍 GaussDB是基于代价估算生成的最优执行计划。优化器需要根据analyze收集的统计信息进行行数估算和代价估算,因此统计信息对优化器行数估算和代价估算起着至关重要的作用。通过ANALYZE收集全局统计信息,主要包括:PG_CLASS系统表中的re

    来自:帮助中心

    查看更多 →

  • 统计信息调优

    统计信息 统计信息介绍 GaussDB是基于代价估算生成的最优执行计划。优化器需要根据analyze收集的统计信息行数估算和代价估算,因此统计信息对优化器行数估算和代价估算起着至关重要的作用。通过analyze收集全局统计信息,主要包括:pg_class表中的relpag

    来自:帮助中心

    查看更多 →

  • 统计信息调优

    统计信息 统计信息介绍 GaussDB是基于代价估算生成的最优执行计划。优化器需要根据analyze收集的统计信息进行行数估算和代价估算,因此统计信息对优化器行数估算和代价估算起着至关重要的作用。通过analyze收集全局统计信息,主要包括:pg_class表中的relp

    来自:帮助中心

    查看更多 →

  • Plan Hint调优概述

    Plan Hint概述 Plan Hint为用户提供了直接影响执行计划生成的手段,用户可以通过指定join顺序,join、stream、scan方法,指定结果行数,指定重分布过程中的倾斜信息,指定配置参数的值等多个手段来进行执行计划的,以提升查询的性能。 功能描述 Plan

    来自:帮助中心

    查看更多 →

  • 性能调优概述

    率。 MySQL/Oracle/SQLServer/PostgreSQL/GaussDB等关系型数据为保证事务有序,在增量阶段是单并发抽取,加大并发一般不会提升抽取性能。 如果第2步也无法有效提升性能,请参考对应链路性能文档尝试进行参数优化。 如果上述步骤仍然无法提升作业速度,请联系技术支持人员协助解决。

    来自:帮助中心

    查看更多 →

  • Flink性能调优

    Flink性能 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端 配置Flink作业状态后端冷热数据分离存储 父主题: 使用Flink

    来自:帮助中心

    查看更多 →

  • 模型调优方法介绍

    模型方法介绍 在实际应用中,首次微调所得的模型往往无法取得最佳效果,为了让模型能更好地解决特定场景任务,通常需要根据微调所得模型的效果情况来进行几轮的模型微调优化迭代。 在大模型的微调效果过程中,训练数据优化、训练超参数优化、提示词优化以及推理参数优化是最重要的几个步骤。

    来自:帮助中心

    查看更多 →

  • Spark Core内存调优

    Spark Core内存 操作场景 并行度控制任务的数量,影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度

    来自:帮助中心

    查看更多 →

  • SQL和DataFrame调优

    SQL和DataFrame Spark SQL join优化 INSERT...SELECT操作 父主题: Spark应用

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了