算法开发和调测 算法的开发者可以在自有环境实现模型训练和算法调测，同时华为也提供一站式开发平台，让不具备自有训练/调测环境的开发者能在线上实现AI开发，最终将稳定的算法发布到好望商城。 表2 操作任务 操作项 任务说明 参考文档 应用开发 华为SDC OS采用轻量级微服务架构，以服

查看更多 →

性能效率是一个系统性的工程，需要综合考虑从架构、设计、编码，到编译、运行的全过程，特别是在编码实现层面，有很多编码技巧，在不影响可读性、可维护性的前提下，提升软件性能。结合编程语言，将高性能编码最佳实践内建的规范中，将会充份发挥性能优势，提升软件的执行效率，最终提升产品的竞争力。 高性能编码规范构建策略：

查看更多 →

Ranger性能调优 操作场景 Ranger给各组件提供权限策略，当使用Ranger的服务增多，需要调整Ranger的规格。 本章节仅适用 MRS 3.2.0及之后版本。 内存参数配置 登录 FusionInsight Manager页面，选择“集群 > 服务 > Ranger > 配置

查看更多 →

有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中。单独容器的日志目录，即container_{$contid}，是该路径下的子目录

查看更多 →

有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中。单独容器的日志目录，即container_{$contid}，是该路径下的子目录

查看更多 →

据，训练深度学习或机器学习模型，形成相关的验证报告。复杂场景工作量预计不超过25人天 900,000.00 每套 AI算法原型开发-铂金版 对业务场景为极特殊的复杂场景的企业或政府单位进行算法原型开发或者优化服务，基于脱敏数据，训练深度学习或机器学习模型，形成相关的验证报告。极特殊的复杂场景工作量预计不超过17人天

查看更多 →

ClickHouse参数调优实践 表1 ClickHouse参数调优汇总 参数名 参数描述 默认值 建议值 是否需要重启生效 max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。

查看更多 →

Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time

查看更多 →

Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time

查看更多 →

JVM堆内存，对于时间序列多，写入并发量大的场景，需要增大此配置。可以根据GC时长阈值告警或堆内存阈值告警进行调优，如果告警发生，参数值按照0.5倍速率调大。如果告警频繁发生，参数值按照1倍速率调大。调整HeapSize大小时，建议将Xms和Xmx设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。

查看更多 →

Flink作业性能调优 性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“云服务监控

查看更多 →

--指定bulk_insert写入时的并行度，等于写入完成后保存的分区parquet文件数。 insert into dsrTable select * from srcTabble 开启log列裁剪，提升mor表查询效率 mor表读取的时候涉及到Log和Parquet的合并，性能不是很理想。

查看更多 →

Avro(SpecificRecord API) 632 网络通信调优 Flink通信主要依赖Netty网络，所以在Flink应用执行过程中，Netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 【示例】 # netty的服务端线程数目(-1表示默认参数numOfSlot)

查看更多 →

鲲鹏全栈调优支持服务 服务概述 服务内容及范围 交付流程 服务周期 交付件清单 责任分工 修订记录 父主题： 计算增值服务

查看更多 →

使用AI原生应用引擎完成模型调优 模型调优是一种通过对模型进行微调来适应特定任务或数据集的技术，适用于需要个性化定制或在特定任务上追求更高性能表现的场景。在模型调优过程中，用户需要构建一个符合业务场景任务的训练集，这个训练集通常由业务数据和业务逻辑构成。然后，用户需要调整模型的参数，以便模型可

查看更多 →

1G ClickHouse在ZooKeeper上的顶层目录的容量配额。 注意： 设置的数量配额值，如果小于当前ZooKeeper目录的实际值，保存配置可成功，但是配置值不会生效，并且界面会上报告警。 父主题： ClickHouse性能调优

查看更多 →

INSERT...SELECT操作调优 操作场景 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT

查看更多 →

”：准备大量的语句会消耗服务器的内存资源，参数设置较小，会带来潜在的“拒绝服务”的风险，建议您根据业务情况，调整该参数的值。 如下参数的输入会根据内核规则对取值进行对应的调整。调整的规则如下所示： “key_cache_age_threshold”会自动调整为100的倍数。 “j

查看更多 →

使用SQL PATCH进行调优 SQL PATCH主要设计给DBA、运维人员及其他需要对SQL进行调优的角色使用，用户通过其他运维视图或定位手段识别到业务语句存在计划不优导致的性能问题时，可以通过创建SQL PATCH对业务语句进行基于Hint的调优。目前支持行数、扫描方式、连接方式、连接顺序、PBE

查看更多 →

ClickHouse加速TTL操作调优 ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。 登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 >

查看更多 →

使用SQL PATCH进行调优 SQL PATCH主要设计给DBA、运维人员及其他需要对SQL进行调优的角色使用，用户通过其他运维视图或定位手段识别到业务语句存在计划不优导致的性能问题时，可以通过创建SQL PATCH对业务语句进行基于Hint的调优。目前支持行数、扫描方式、连接方式、连接顺序、PBE

查看更多 →