中软国际数据治理专业服务解决方案实践

使用开源Kettle导入数据 Kettle是一款开源的ETL工具，通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下，使用Kettle自身提供的数据入库插件，入库速度在1500条/秒左右，数据搬迁耗时较高。而相同运行环境下，使用集成dws-client

查看更多 →

开源软件声明 具体请参见开源软件声明。 父主题： 产品介绍

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 父主题： LLM大语言模型

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 父主题： LLM大语言模型

查看更多 →

新建数据大屏 大屏概述 新建大屏 大屏全局参数配置 大屏组件 预览大屏 发布大屏 复制大屏 大屏分享协作 管理大屏

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 父主题： LLM大语言模型

查看更多 →

开源服务包规范 OSC服务规范同时支持当前业界使用较为广泛的两种开发服务规范：Helm服务规范和Operator-Framework服务规范。 OSC服务平台支持部署上述两种开源的服务包，但是如需同时使用OSC对外提供的运维和表单控件能力，则需要将部署包转换为符合OSC规范格式的

查看更多 →

Hive开源增强特性：支持数据库授权 Hive开源社区版本只支持数据库的拥有者在数据库中创建表。 MRS Hive支持授予用户在数据库中创建表“CREATE”和查询表“SELECT”权限。当授予用户在数据库中查询的权限之后，系统会自动关联数据库中所有表的查询权限。 Hive开源增强特性：支持列授权

查看更多 →

Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中，有不同的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDSF文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

获取开源漏洞分析统计数据 功能介绍 根据任务ID获取开源漏洞分析的统计数据 URI GET /v1/{project_id}/sbc/task/summary/opensource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 开启训练故障自动重启功能 查看日志和性能 训练脚本说明 父主题： LLM大语言模型

查看更多 →

Boost（ATB）和适配昇腾平台的大模型推理服务Text Generation Inference（TGI） + 华为自研Ascend Snt9b硬件，为用户提供了开箱即用的推理部署方案，包括推理的性能和精度测试等，为用户提供端到端的大模型解决方案，帮助用户使能大模型业务。 操作流程 图1

查看更多 →

平台的大语言模型。集成了 MidJourney 和 Stable Diffusion AI绘画、音乐、思维导图生成功能。 方案架构 该解决方案在华为云 弹性云服务器 E CS 上基于开源Geek-AI构建AI智能助手。该解决方案部署架构如下图所示： 图1 方案架构图 该解决方案会部署如下资源：

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

主备集群之间的容灾能力可以增强HBase数据的高可用性，主集群提供数据服务，备用集群提供数据备份，当主集群出现故障时，备集群可以提供数据服务。相比开源Replication功能，做了如下增强： 备集群白名单功能，只接受指定集群IP的数据推送。 开源版本中replication是基于W

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →