华为云 APP

您的云计算服务助手——让您安全、实时、高效、便捷的掌控云端资源。

立即下载
 
 
 

    大数据处理应用案例 更多内容
  • ModelArts最佳实践案例列表

    DevServer的训练过程,训练使用PyTorch框架和昇腾NPU计算资源。训练后的模型可用于推理部署,搭建模型问答助手。 主流开源模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907) 主流开源模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6

    来自:帮助中心

    查看更多 →

  • ModelArts入门实践

    Studio模型即服务平台(下面简称为MaaS),使用Llama3-8B模型框架实现新闻自动分类,能够高效处理和分类大量新闻内容。 面向AI模型开发新手用户,了解AI模型基础知识即可 ModelArts Standard模型训练 基于ModelArts Standard上运行GPU训练任务

    来自:帮助中心

    查看更多 →

  • 开发前必读

    应用)、协议转换(驱动应用)、接入IT子系统(IT应用)。 业务概览 开通IoT边缘服务后,使用 设备接入服务 的完整流程如下图所示,主要分为应用侧开发、插件开发。 应用侧开发:IoTEdge提供了丰富的API,如节点管理、应用管理,开发者可以在应用侧(如管理系统、屏监控系统)接入API实现在应用侧管理的功能。

    来自:帮助中心

    查看更多 →

  • 案例:使排序下推

    案例:使排序下推 现象描述 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。 表结构如下所示: 1 2

    来自:帮助中心

    查看更多 →

  • SQL调优案例

    SQL调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:使排序下推 案例:设置cost_param对查询性能优化 案例:调整局部聚簇键 案例:调整中间表存储方式 案例:改建分区表 案例:调整GUC参数best_agg_plan 案例:改写SQL排除剪枝干扰

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:调整查询重写GUC参数rewrite_rule 案例:调整基于代价的查询重写GUC参数costbased_rewrite_rule 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:改写SQL消除子查询 案例:改写SQL消除in-clause 父主题:

    来自:帮助中心

    查看更多 →

  • 案例:调整分布键

    案例:调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况: 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点,并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解),

    来自:帮助中心

    查看更多 →

  • 历史待下线案例

    历史待下线案例 使用AI Gallery的订阅算法实现花卉识别 示例:从 0 到 1 制作 自定义镜像 并用于训练(Pytorch+CPU/GPU) 示例:从 0 到 1 制作自定义镜像并用于训练(MPI+CPU/GPU) 示例:从 0 到 1 制作自定义镜像并用于训练(MindSpore+Ascend)

    来自:帮助中心

    查看更多 →

  • 华为云Astro大屏应用服务

    服务介绍 华为云Astro应用服务视频 介绍什么是Astro应用 09:18 低码轻松实现 数据可视化 ,帮助企业把数数清楚 新手入门 华为云Astro应用服务视频 介绍AstroCanvas界面各个功能菜单 05:43 入门指引 华为云Astro轻应用服务视频 介绍如何使用预置模板开发一个调查问卷应用

    来自:帮助中心

    查看更多 →

  • 场景介绍

    微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: 主流开源模型基于Standard+OBS+SFS适配PyTorch

    来自:帮助中心

    查看更多 →

  • Loader算子数据处理规则

    Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:使排序下推 案例:设置cost_param对查询性能优化 案例:调整局部聚簇键 案例:调整中间表存储方式 案例:改建分区表 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询(案例1)

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:使排序下推 案例:设置cost_param对查询性能优化 案例:调整分布键 案例:调整局部聚簇键 案例:改建分区表 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询

    来自:帮助中心

    查看更多 →

  • 案例:调整分布键

    案例:调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况: 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点,并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解),

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:调整分布键 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询 案例:改写SQL排除剪枝干扰 案例:改写SQL消除in-clause 案例:调整查询重写GUC参数rewrite_rule 案

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:调整查询重写GUC参数rewrite_rule 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:改建分区表 案例:改写SQL消除子查询 案例:改写SQL消除in-clause 父主题: SQL调优指南

    来自:帮助中心

    查看更多 →

  • 案例:使排序下推

    案例:使排序下推 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。可以尝试将语句改写为子查询,使排序下推。

    来自:帮助中心

    查看更多 →

  • 案例:调整分布键

    案例:调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况: 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点,并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解),

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:调整查询重写GUC参数rewrite_rule 案例:调整I/O相关参数降低日志膨胀率 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:改建分区表 案例:改写SQL消除子查询 案例:改写SQL消除in-clause 父主题: 性能调优

    来自:帮助中心

    查看更多 →

  • 应用资产

    P+认证管理。 ISDP+权限同步 资产使用场景、提供的功能以及如何使用请参见ISDP+权限同步。 数据处理应用模板 资产使用场景、提供的功能以及如何使用请参见数据处理应用模板。 操作日志 资产使用场景、提供的功能以及如何使用请参见操作日志。 系统参数初始化 资产使用场景

    来自:帮助中心

    查看更多 →

  • 场景介绍

    微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: 主流开源模型基于Standard+OBS适配PyTorch NPU训练指导(6

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了