中软国际数据治理专业服务解决方案实践

产品对异常检测需求持续增加，单个异常检测模型开发周期约6个月，无法快速生成模型。 同时需要投入1至2名算法专家进行数据清洗、特征分析、模型选择和验证等工作，模型开发成本高。 学件概念 学件可以重用已有学件进行开发，不必从头开发。 学件（Learnware）= 模型（model）+ 规约（specification）

查看更多 →

配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于 MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MR

查看更多 →

配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。

查看更多 →

哪些场景会影响数据均衡？ Doris运行中，FE节点会监控元数据中各磁盘的负载情况，一旦出现数据不均衡，会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘，直到各磁盘间数据均衡。 哪些场景会影响数据均衡？ 频繁写入数据，导致各节点、磁盘的负载一直在变化，容易触发数据均衡。 数据均衡过程中，再次写入数据，容易打乱之前的数据均衡。

查看更多 →

在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消

查看更多 →

图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率 均衡操作时间估算受两个因素影响： 需要迁移的总数据量： 每个DataNode节点的数据量应大于（平均使用率-阈值）*平均数据量，小于（平均使用率+阈值）*平均数据量。若实际数据量小于最

查看更多 →

图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率 均衡操作时间估算受两个因素影响： 需要迁移的总数据量： 每个DataNode节点的数据量应大于（平均使用率-阈值）*平均数据量，小于（平均使用率+阈值）*平均数据量。若实际数据量小于最

查看更多 →

应用，以及方便的管理和维护。 volcano插件：Volcano是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Flink Operator：通过Flink operator

查看更多 →

原因分析 该机器在进行过某些Windows功能的启用或关闭后未进行重启。 处理方法 请重启机器。 must log in to complete the current configuration or the configuratio\r\nn in progress must be

查看更多 →

编辑学件 本章节介绍，如何修改自定义学件的算子组、算子、表单组和表单信息。 在JupyterLab环境编辑界面，单击界面右上角的图标，右侧区域展示算子区域。 通过“自定义 > 算法处理 > 加载数据”可以看到新增的“加载数据”算子。 右键单击“加载数据”，从下拉框中，选择“开发自定义模版”。

查看更多 →

非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。

查看更多 →

均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求，并准备一个K

查看更多 →

机器翻译 语种识别 语种识别是为了识别文本所属的语种。对于用户输入的文本，返回识别出的所属语种。 父主题： 基本概念

查看更多 →

机器无法选择？ 请确认机器状态是否正确，资源状态为运行中且UniAgent状态为运行中。 UniAgent安装可参考安装UniAgent。 父主题： 补丁管理常见问题

查看更多 →

多层嵌套异常检测学件 创建项目 样例数据导入模型训练服务 模型训练 模型测试 父主题： 学件开发指南

查看更多 →

KPI异常检测学件服务 创建项目 数据集 模型训练 模型管理 推理服务 父主题： 学件开发指南

查看更多 →

负载均衡 在更新流量策略内容时，可选择是否开启。 在微服务场景下，负载均衡一般和服务配合使用，每个服务都有多个对等的服务实例。 服务发现负责从服务名中解析一组服务实例的列表，负载均衡负责从中选择一个实例。为目标服务配置满足业务要求的负载均衡策略，控制选择后端服务实例。 父主题： 流量策略

查看更多 →

负载均衡 查询集群支持的ELBV3负载均衡器 打开或关闭ES负载均衡器 ES监听器配置 获取该esELB的信息，以及页面需要展示健康检查状态 更新ES监听器 查询证书列表 父主题： API

查看更多 →

自建数据中心的负载均衡 LVS负载均衡方式 控制台配置 配置准备 配置指导 验证测试 父主题： CloudPond自建数据中心负载均衡最佳实践

查看更多 →

负载均衡 负载均衡作用在客户端，是高并发、高可用系统必不可少的关键组件，目标是尽力将网络流量平均分发到多个 服务器 上，以提高系统整体的响应速度和可用性。 Java Chassis的负载均衡作用于微服务消费者，需要微服务应用集成负载均衡模块，启用loadbalance处理链。 配置示例如下：

查看更多 →

负载均衡 负载均衡作用在客户端，是高并发、高可用系统必不可少的关键组件，目标是尽力将网络流量平均分发到多个服务器上，以提高系统整体的响应速度和可用性。 Java Chassis的负载均衡作用于微服务消费者，需要微服务应用集成负载均衡模块，启用loadbalance处理链。 配置示例如下：

查看更多 →