中软国际数据治理专业服务解决方案实践

数据工程实施流程 本文档介绍如何构建端到端数据处理流程，协助政府进行数据治理，实现政务大数据一体化管理 表1 构建一体化政务大数据平台数据处理端到端流程 序号 类 项目 描述 1 组建专班 首席数据官 首席数据官 业务专员 业务专员 数据专员 数据专员 2 数据架构规划设计 数据调研

查看更多 →

发布。通过数据服务模块，可以将数据仓库集市层中的业务数据转化为易于访问和使用的API。这样，数据应用可以直接从API中获取所需的数据，无需直接访问底层数据表。这种方式不仅提供了更高的数据安全性，还能够简化数据应用的开发和维护过程。 通过将数据转化为API，可以实现数据的实时更新和

查看更多 →

使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

个响应码。 单击“完成”，完成负载通道的创建。 重复1-5配置中台实例到其他子公司实例的负载通道。 在中台实例创建API 在中台实例创建并开放API，使用子公司实例中的API作为后端服务。各子公司或合作伙伴通过调用中台实例开放的API，实现对各子公司能力的调用。 创建API的过程

查看更多 →

大模型使用类问题 盘古大模型是否可以自定义人设

查看更多 →

nSearch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据（推荐） 在Kibana的DevTools中将请求发送到“_plugins/_sql”，可以使用请求参数或请求正文。 例如，执行如下命令，从“my-index”索引中搜索出50条数据。 1 2 3 4

查看更多 →

Tomcat 8.5.63 程序中间件，内嵌在应用服务中 数据平台 MySQL 5.7.22+ 配置库 DWS 6.5.1+ 运算库 表3 准备工具和软件 软件工具 作用 SSH远程登录工具（例如PuTTY） 跨平台远程访问工具。用于在软件安装过程中在Windows系统上访问各linux 服务器 进行安装操作

查看更多 →

需要注意的是，数据应用集成实施更偏向于IT侧和业务应用侧，而不是数据平台上线的必要条件。它主要关注数据的整合和应用，以提供更好的数据支持和业务价值。因此，在数据应用集成实施过程中，需要密切协作的是IT团队、业务应用团队和数据管理团队，以确保数据的有效集成和应用。 综上所述，数据应用集成实施是数据管理实施中

查看更多 →

数据实施质量检查 实施质量检查包含数据实例实施过程中的工具，旨在帮助客户在进行数据治理过程中，能够更好地监控实施过程中的质量，包含数据模型设计、源系统和SDI层数据一致性检测、数据平台检测、脚本规范检测、 DataArts Studio 命名规范检测和作业监控。 表1 实施质量检查功能介绍

查看更多 →

DSL再与Elasticsearch和OpenSearch集群交互。 DSL使用示例 在Kibana的DevTools中编写请求内容的JSON并执行搜索请求。 例如，执行如下命令，在“test”索引中匹配所有文档。 1 2 3 4 5 6 GET /test/_search {

查看更多 →

数据标准实施：将设计阶段输出的数据标准配置到数据治理中心，关联到具体物理模型中的字段。 数据质量实施：配置数据质量检查规则，生产数据质量作业和质量报告。 数据指标实施：将技术指标计算规则配置到数据治理中心，关联报告层维度表和事实表，以可视化的形式生成集市层指标。 数据服务实施：基于数据服务设计方案，将技术指标封装成数据API，供应用侧消费。

查看更多 →

数据集成作业开发 数据集成作业开发是数据使能解决方案中的重要环节，它涉及将不同数据源的数据整合、转换和传输到目标系统的过程。在华为云数据使能解决方案中，提供了多种数据集成技术栈，以满足不同场景的需求。 对于批量数据集成，推荐使用华为云的 CDM （Cloud Data Migration）服务

查看更多 →

配置ingress 图4 创建路由1 图5 创建路由2 配置 域名 解析，将域名解析道ELB公网IP或内网IP 验证操作中台系统 登录平台进行验证 图6 登录系统 父主题： 实施步骤

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

OBS控制台使用相关 控制台浏览器兼容性 出现“客户端与服务器的时间相差15分钟”的报错 下载一个对象名较长的对象到本地后，对象名称改变 使用IE11浏览器下载对象时提示对象无法下载 使用IE9浏览器无法打开OBS管理控制台界面 错误码列表

查看更多 →

控制台使用方式概览 云日志服务（Log Tank Service，简称LTS）支持多种方式使用LTS控制台，包含从华为云官方控制台登录使用、华为云用户自建系统内嵌（免密登录）、对接Grafana插件 等多种方式。 使用概览 使用方式 功能支持 是否支持免华为账号登录 开发工作量 账号权限管理

查看更多 →

已申请记录列表展示。 图2 数据服务使用1 图3 数据服务使用2 数据资源订阅 消费方通过资源订阅在主题分类资源树中的数据实体资源中订阅资源，相对数据服务共享平台而言“推”的方式，消费方订阅资源，向平台提供数据库、文件目录地址，订阅任务审批通过后，由平台向消费方推送资源，主要功能包括： 数据资源分类展现，数据资源搜索；

查看更多 →