# 数据管理与分析 ## 帆软商业智能解决方案 - [方案概述](https://support.huaweicloud.com/frrbi-dma/frrbi_01.md): 正邦集团(体现华为云、云商店和帆软3方联合能力加成)客户的痛点:系统繁多,数据采集口径不一,造成数据质量低,无法有效分析管理层缺少对整体业务的把控,难以对问题准确追踪,支撑决策数字化转型自建系统投资成本高、效率低,也难以实现资源共享和系统迭代,无法满足业务爆发式增长带来的扩容需求通过本方案实现的业务效果:基于华为云ROMA、DGC等产品, - [资源和成本规划](https://support.huaweicloud.com/frrbi-dma/frrbi_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [安装步骤](https://support.huaweicloud.com/frrbi-dma/frrbi_04.md): 服务器部署FineBI 是一个 Servlet 应用。Servlet 是一种服务器端的 Java 应用程序,具有独立于平台和协议的特性,可以生成动态的 Web 页面。它担当客户请求( Web 浏览器或其他 HTTP 客户程序)与服务器响应( HTTP 服务器上的数据库或应用程序)的中间层。因此 FineBI 必须部署在 Web 应用服务器 - [应用步骤](https://support.huaweicloud.com/frrbi-dma/frrbi_05.md): “分析主题”是你在 BI 中进行数据分析和可视化展示的核心元素。当你需要进行数据分析时,可以创建分析主题并在其中进行自己的业务分析,分析主题中支持进行数据处理、制作可视化图表和仪表板;同时“分析主题”支持不同用户之间进行协作编辑,极大的方便了用户对分析内容的共享。在“我的分析 > 全部分析”下“新建分析主题”。如下图所示:详情请参见:分析 - [修订记录](https://support.huaweicloud.com/frrbi-dma/frrbi_06.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 滴普科技数据智能平台解决方案 - [方案概述](https://support.huaweicloud.com/deepexidip-dma/deepexidip_01.md): 企业数据中台建设随着企业信息化日臻完善以及DT时代的来临,数据量不断加速增长,企业信息化建设开始出现诸多发展瓶颈和痛点实时性要求越来越高,旧有的企业数据管理和分析体系无法支持业务系统的柔性响应、精准服务、快速迭代等需要,迫切需要建设数据中台,以更好的实现数据汇聚链接,驱动企业决策。大数据发展至今,技术组件纷繁复杂,而企业缺乏统一的开发和管 - [资源和成本规划](https://support.huaweicloud.com/deepexidip-dma/deepexidip_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [云服务cce集群鲲鹏](https://support.huaweicloud.com/deepexidip-dma/deepexidip_05.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [GaussDB(for MySQL)](https://support.huaweicloud.com/deepexidip-dma/deepexidip_06.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [RDS(PostgreSQL )](https://support.huaweicloud.com/deepexidip-dma/deepexidip_07.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [云搜索服务CSS](https://support.huaweicloud.com/deepexidip-dma/deepexidip_08.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [VPC创建](https://support.huaweicloud.com/deepexidip-dma/deepexidip_10.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [创建网络安全组](https://support.huaweicloud.com/deepexidip-dma/deepexidip_11.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [CDH 部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_12.md): 查看状态systemctl status firewalld systemctl status iptables停止systemctl stop firewalld systemctl stop iptables禁止开机启动systemctl disable firewalld systemctl disable iptablesyum - [Redis部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_13.md): 创建命名空间安装路径约定,安装机器:中间件服务器安装目录:/opt/redis-6.0.0配置文件:/opt/redis-6.0.0/config/redis.conf 和 /opt/redis-6.0.0/config/sentinel/sentinel.conf数据目录:/data/redis-6.0.0/data日志目录:/data - [安装配置JDK、上传并解压](https://support.huaweicloud.com/deepexidip-dma/deepexidip_15.md): 执行安装jdk命令yum install java-1.8.0-openjdk配置环境变量# vim /etc/profile #JDK export JAVA_HOME=/usr/lib/jvm/java export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar: - [RocketMq配置](https://support.huaweicloud.com/deepexidip-dma/deepexidip_16.md): 节点1主192.168.0.190节点配置broker-master# vim /opt/rocketmq-4.4.0/conf/broker-master.conf brokerClusterName=SyncCluster brokerName=broker-01 brokerId=0 brokerIP1=192.168.0.190 - [配置JVM启动参数](https://support.huaweicloud.com/deepexidip-dma/deepexidip_17.md): 默认的jvm启动参数内存都比较大,可以根据机器情况适当调整,不然有可能会启动失败;有3个脚本需要修改(注意内存单位m不能缺少,否则会启动失败):# vim /opt/rocketmq-4.4.0/bin/runserver.sh JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -X - [启动RocketMq](https://support.huaweicloud.com/deepexidip-dma/deepexidip_18.md): 创建rocketmq-namesrv# vim /etc/systemd/system/rocketmq-namesrv.service [Unit] Description=rocketmq-namesrv Documentation=http://mirror.bit.edu.cn/apache/rocketmq/ After=net - [部署rocketmq-console控制台](https://support.huaweicloud.com/deepexidip-dma/deepexidip_19.md): 部署rocketmq-console控制台(前提是服务器先安装好jdk,如无请参考后面安装jdk部分)新建目录mkdir /opt/rocketmq-console,并上传安装包rocketmq-console-ng-2.0.0.jar到该目录。rocketmq-console,创建目录,并上传rocketmq-console# mkdi - [Eureka部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_20.md): 上传编译arm版本的镜像deploy.deepexi.com/daas/arm/deepexi-daas-eureka-server:2.7.x.20210817_arm,安装到服务器,然后导入镜像deepexi-daas-eureka- server:2.7.x.20210817_arm通过k8s创建,上传eureka-pro.yaml - [Zookeeper部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_21.md): 安装JDK3台机器2888和3888端口能互通安装目录:/opt/zookeeper-3.6.1配置文件:/opt/zookeeper-3.6.1/conf/zoo.cfg数据目录:/data/zookeeper-3.6.1/data日志目录:/data/zookeeper-3.6.1/logs三台zookeeper配置,解压并创建目录上 - [id-generator部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_22.md): 在使用id-generator前,要先确保已经安装zookeeper,因为id-generator依赖zookeeper。上传zookeeper的yaml文件到k8s宿主机创建endpoint# kubectl create -f .创建1# kubectl get svc,ep -n applife创建2上传distribute-id- - [Apollo部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_23.md): 上传apollo-adminservice.tar.gz、apollo-configservice.tar.gz、apollo-portal.tar.gz到/soft/apollo下看到上面3个镜像,说明导入成功。登录Mysql,执行apollo建库脚本由于阿波罗是后面重新打的新版本包,数据库初始化脚本需要从官网下载最新的1.9版本修改m - [NFS部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_24.md): https://jimmysong.io/kubernetes-handbook/practice/using-nfs-for-persistent-storage.htmlhttps://github.com/kubernetes-retired/external-storage/tree/master/nfs-client/deplo - [登录访问DaaS系统与容器编排文件总览](https://support.huaweicloud.com/deepexidip-dma/deepexidip_26.md): http://139.159.196.135/daas-management/index.html#/login租户:daas账号:daas密码:abcd1234前端页面(5个)统一账号管理前端页面deepxi-daas-iam-front.yamlDaas管理平台前端deepxi-daas-base-application-web.ya - [CCE导入服务](https://support.huaweicloud.com/deepexidip-dma/deepexidip_27.md): 命名空间介绍applife:中间件服务或中间件映射服务;daas:DAAS后台服务;daas-web:DAAS前台服务;kong:网关服务.命名空间介绍applife:中间件服务或中间件映射服务;daas:DAAS后台服务;daas-web:DAAS前台服务;kong:网关服务.导入后台服务打开kubectl控制机器进入/sort/daa - [前端服务Kong配置](https://support.huaweicloud.com/deepexidip-dma/deepexidip_28.md): 管理平台基础页面(deepxi-daas-base-application-web)管理平台基础页面指定为K8s服务名称deepexi-daas-base-application-web-service.daas-web:30010,注意要加上命名空间“.daas-web”指定为K8s服务名称deepexi-daas-base-appli - [IAM后端服务配置](https://support.huaweicloud.com/deepexidip-dma/deepexidip_29.md): 镜像版本iam-sso:deepexi-client-iam-admin:4.6.4-beta_arm64iam-openapi:deepexi-client-iam-openapi:4.6.4-beta_arm64iam-admin:deepexi-client-iam-admin:4.6.4-beta_arm64iam-sso:dee - [DolphinScheduler部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_30.md): Zookeeper需安装好JDK先配置好(1.8)gcc 需安装好(4.8.*)安装大数据组件客户端(HDFS\YARN\HIVE\FLINK\SPARK)安装datax环境前提CDH中需要有两个Hadoop集群,每个集群下部署一套DS (CDH机器允许部署的情况)如果是POC,可以只用一套DSCDH机器不允许部署的情况,参考https: - [Livy部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_31.md): JDK先配置好(1.8)安装大数据组件客户端(HDFS\YARN\HIVE\SPARK)前提CDH中需要有两个Hadoop集群,每个集群下部署一个livy (CDH机器允许部署的情况)CDH机器不允许部署的情况,参考https://deepexi.yuque.com/docs/share/cbb7e60f-7188-41ef-8a72-2 - [Daas-develop-agent部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_32.md): 背景:原dass开发平台中实时任务是采用api接口的方式去停止yarn任务,停止速度慢。据客户方滔博反馈,当任务运行比较久是任务数据比较多,停止起来速度非常慢,严重影响体验,必须优化,因此采用在yarn部署agent,通过agent执行flink命令行的方式去停止yarn任务。定位:本项目现期功能是用来停止yarn实时任务,未来不排除拓展 - [Flink部署](https://support.huaweicloud.com/deepexidip-dma/deepexidip_33.md): cd /optwget https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgztar -zxvf flink-1.12.0-bin-scala_2.11.tgz把值修改成以下内容cluster2-hadoop01-tst-daas - [数据集成](https://support.huaweicloud.com/deepexidip-dma/deepexidip_35.md): 支持通过手动配置或批量导入的方式接入数据源拖拉拽设计支持组件化拖拉拽方式快速完成数据同步任务的设计,用户在完成设计后,可通过预检测确认设计无误,通过开始、停止、刷新、查看日志等操作调试任务。拖拉拽设计支持组件化拖拉拽方式快速完成数据同步任务的设计,用户在完成设计后,可通过预检测确认设计无误,通过开始、停止、刷新、查看日志等操作调试任务。字 - [数据源管理与数据标准管理](https://support.huaweicloud.com/deepexidip-dma/deepexidip_37.md): 支持对 OLAP 数据源、关系型数据源、NoSQL 数据库、文件数据源、消息队列数据源等异构数据源类型进行接入,屏蔽不同数据库之间的差异,实现数据源的统一管理。数据元标准通过“数据标准”,可以对数据元标准进行统一的规范化定义,包括标准名称、标准版本、标准类型、标准来源、数据类型、数据格式、值域范围、计量单位、标准定义及标准代码集等内容。数 - [数据建模](https://support.huaweicloud.com/deepexidip-dma/deepexidip_38.md): 数据分层分域支持数据按如 ODS、DWD、DWS、ADS 等数据分层设置,支持数据按照主题、部门等进行数据域设置。为模型设计从业务和技术的角度提供分类分层框架,是数仓规划的关键基础。数据分层分域1数据分层分域2支持数据按如 ODS、DWD、DWS、ADS 等数据分层设置,支持数据按照主题、部门等进行数据域设置。为模型设计从业务和技术的角度 - [数据开发](https://support.huaweicloud.com/deepexidip-dma/deepexidip_39.md): 项目创建数据开发项目需为开发环境和生产环境配置数据鉴权模式,选择计算资源组,同时可以指定运行账号及运行队列。项目创建数据开发项目需为开发环境和生产环境配置数据鉴权模式,选择计算资源组,同时可以指定运行账号及运行队列。离线任务开发离线数据开发支持 HiveSQL、ImpalaSQL、SparkSQL、Python、Shell、Jar、Spa - [数据血缘、资源管理、函数管理和变量管理](https://support.huaweicloud.com/deepexidip-dma/deepexidip_40.md): 在数据采集和数据开发任务中,支持手工配置数据血缘及基于 SQL 解析自动生成数据血缘。在任务发布至生产环境后,即可形成数据血缘影响关系图,直观展示元数据上下游关系,查看到来源于各个相关的数据开发任务的血缘分析、影响分析。函数资源及外部代码资源,可以在资源管理中上传。资源支持 Jar、Python、File 等类型。对于复杂的代码实现场景, - [数据发布CI/CD、任务运维](https://support.huaweicloud.com/deepexidip-dma/deepexidip_41.md): 支持数据发布 CI/CD。数据开发团队完成任务开发后,可以将流程提交到测试环境中进行验证、调整,任务在测试环境的运行过程中,不影响用户继续完成其他开发任务。对于通过测试的任务,数据工程师可以提交到发布流程中,开发 Leader 则可通过查看任务、比对版本来审核数据任务。审核通过后,运维工程师方可进一步发布到生产环境。运维看板支持总览离线任 - [数据质量管理](https://support.huaweicloud.com/deepexidip-dma/deepexidip_42.md): 内置质量规则内置多种质量规则,如:空值校验、重复数据校验、时延校验、聚合计算校验等校验多种校验方式,支持从合理性、完整性、唯一性、准确性、规范性、一致性、及时性等质量评分指标对数据质量进行监控。内置质量规则内置多种质量规则,如:空值校验、重复数据校验、时延校验、聚合计算校验等校验多种校验方式,支持从合理性、完整性、唯一性、准确性、规范性、 - [元数据管理](https://support.huaweicloud.com/deepexidip-dma/deepexidip_43.md): 元数据采集支持 mysql、sqlserver、oracle、postgresql、db2 等主流关系型数据库;支持 hive、greenplum、clickhouse 等分布式分析型数据库;支持 hbase、kudu、mongodb 等 NoSQL 数据库;支持 kafka、hdfs 等其他类型数据源;元数据采集支持 mysql、sql - [数据资源管理](https://support.huaweicloud.com/deepexidip-dma/deepexidip_44.md): 数据资源概览资源概览对数据平台内的数据项目、数据源、数据表、API、指标、维度等进行统计,并反映存储资源消耗情况、数据价值表排行、元数据质量缺陷统计等情况。数据资源概览1同时,可以查看不同数据源类型的数据源数量、表数量、数据量以及接入连通性等信息。数据资源概览2资源概览对数据平台内的数据项目、数据源、数据表、API、指标、维度等进行统计, - [数据服务管理](https://support.huaweicloud.com/deepexidip-dma/deepexidip_45.md): 服务应用概览概览主要分为调用总览(接口总数、应用总数、订阅率、调用次数、失败率),API 订购信息,调用趋势,错误类型分布、平均耗时排行、速率监控、API 调用排行、应用调用排行、 API 调用失败率排行、应用调用失败率排行。以上维度,可以根据今天、24 小时、本周、近 7 天、本月进行筛选。服务应用概览概览主要分为调用总览(接口总数、应 - [数据安全](https://support.huaweicloud.com/deepexidip-dma/deepexidip_46.md): 数据安全等级支持数据安全等级自定义,设置密级名称。诸如设置机密、公开、绝秘等密级。设置完密级后,可以用于后续关联敏感数据扫描等安全策略。数据安全等级1数据安全等级2支持数据安全等级自定义,设置密级名称。诸如设置机密、公开、绝秘等密级。设置完密级后,可以用于后续关联敏感数据扫描等安全策略。敏感数据发现支持基于不同数据安全等级的敏感数据扫描任 - [修订记录](https://support.huaweicloud.com/deepexidip-dma/deepexidip_47.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 端边云车联网Serverless数据湖解决方案 - [方案概述](https://support.huaweicloud.com/decsd-dma/decsd_01.md): 该解决方案基于华为云ServerLess技术架构,通过联合伙伴EMQ IoT、华为云函数工作流 FunctionGraph、对象存储服务 OBS、分布式消息服务Kafka版、图引擎服务 GES等服务的组合,实现车联网数据的端侧灵活采集/传输、云端接入/分析/转换,在云端形成Serverless架构数据湖,并以图谱方式进行车辆故障分析。适用 - [资源和成本规划](https://support.huaweicloud.com/decsd-dma/decsd_02.md): 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。 - [准备工作](https://support.huaweicloud.com/decsd-dma/decsd_04.md): 统一身份认证菜单如果委托存在,则不用执行接下来的创建委托的步骤如果委托不存在时执行接下来的步骤创建委托如果搜索结果不为空,则当前账号已经存在IAM委托管理权限,不需要重复创建如果过搜索结果为空,则继续创建“IAM Agency Management FullAccess”权限本章节主要帮助用户在快速部署该解决方案之前,获取部分依赖的资源, - [快速部署](https://support.huaweicloud.com/decsd-dma/decsd_05.md): 本章节主要帮助用户快速部署“端边云车联网Serverless数据湖”解决方案。 - [开始使用](https://support.huaweicloud.com/decsd-dma/decsd_06.md): Kafka默认使用9092端口,该方案默认针对子网网段开放,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。如果您的实例关联的安全组策略无法满足使用需求,比如需要 - [快速卸载](https://support.huaweicloud.com/decsd-dma/decsd_07.md): 该解决方案涉及到对象存储服务 OBS桶,如果OBS桶中有数据的话会导致资源栈删除失败。请按需要迁移备份后清空OBS桶中的数据,再卸载该解决方案。如果按开始使用步骤5 发布API,发布了API,在删除资源栈前,需要将发布的API下线,如果未下线会导致资源栈删除失败。 - [附录](https://support.huaweicloud.com/decsd-dma/decsd_08.md): 分布式消息服务Kafka版:分布式消息服务Kafka版是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件。函数工作流 FunctionGraph:是一项基于事件驱动的函数托管计算服务。使用Fu - [修订记录](https://support.huaweicloud.com/decsd-dma/decsd_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 华为云通用数据使能解决方案实践 - [方案概述](https://support.huaweicloud.com/gpdes-dma/gpdes_01.md): 疫情时代大幅加速了企业数字化建设,导致全球数字化进程整体提前7年,亚太地区提前10年(麦肯锡)。数字化不再被认为困难重重,企业做事速度比原先预想的快20~25倍,部分先进企业已将混合办公模式作为新常态。2020年4月,中央将数据列为新的生产要素,作为数字经济发展和科技创新的关键驱动力,在企业数字化转型中发挥着难以替代的作用。如何释放数据生 - [资源和成本规划](https://support.huaweicloud.com/gpdes-dma/gpdes_02.md): 以某行业客户为例,客户的需求为构建全集团统一的数据平台,在数据平台中对数据进行治理,并支撑上层的数据应用。假设客户的数据量规模在10T左右,考虑到增量的数据集成方式、数据入湖入仓的膨胀系数、以及客户对平台性能的要求,设计了以下的资源与成本清单。实际收费应以账单为准:云服务清单云服务清单资源类型服务规格数量数据治理平台数据湖治理中心(Dat - [数据治理平台](https://support.huaweicloud.com/gpdes-dma/gpdes_04.md): 本项目一期以离线数据分析为主,按照华为云数据使能方案的离线数据湖子方案,以华为公有云为载体,为客户建设离线数据湖平台,作为本次项目数据分析应用的数据底座。离线数据湖平台整体架构如下,核心由三个云服务组成,大数据平台MRS、数据仓库平台DWS、数据集成治理平台DataArts Studio。离线数据湖平台可以向实时数据湖、ITOT融合数据湖 - [数据管理成熟度诊断](https://support.huaweicloud.com/gpdes-dma/gpdes_06.md): 数据管理成熟度评估是一种基于能力成熟度模型框架的能力提升方案,描述了数据管理能力初始状态发展到最优化的过程。在数据管理实施专业服务的整体工作流程中,数据管理成熟度评估作为第一个步骤,串联了数据调研与业务调研,作为一个结果型输出件呈现;一方面在项目早期可以快速与客户建立关系,另一方面在项目交付时更容易讲清数据治理的价值。在交付团队没有参与蓝 - [数据使能信息架构与业务架构设计](https://support.huaweicloud.com/gpdes-dma/gpdes_07.md): 在完成数据调研与业务调研之后,即可着手进行客户的信息架构与业务架构设计。信息架构和业务架构都是企业架构的重要组成部分。信息架构确保了信息的有效组织和流通,而业务架构确保了企业的流程和结构与其战略目标保持一致。这两者共同为企业提供了高效运作、持续创新、风险管理和客户满意度提升的基础。信息架构是以结构化的方式描述在业务运作和管理决策中所需要的 - [数据使能技术架构](https://support.huaweicloud.com/gpdes-dma/gpdes_08.md): 应用架构和技术架构是企业架构的技术层面,它们分别关注软件应用和硬件基础设施,以支持企业的业务流程和信息管理。良好的应用架构能够确保软件应用满足业务需求,提供灵活性和可维护性。而合适的技术架构则确保了整体系统的性能、可靠性、扩展性和安全性。这两者共同为企业提供了强有力的技术支持,助力企业实现战略目标,降低成本,增强竞争力。数据使能技术架构设 - [数据使能方案设计](https://support.huaweicloud.com/gpdes-dma/gpdes_09.md): 在完成数据使能的4A架构设计后,即可进行数据使能方案设计。数据使能方案设计是数据管理实施专业服务的核心工作,在这个过程中,交付团队会完成流程目录梳理、数据资产目录设计、数据分布梳理、数据标准设计、指标数据梳理、数据模型设计、分层Mapping设计、数据质量设计、业务指标设计、技术指标设计、数据应用设计等工作。最终支撑数据使能解决方案的落地 - [数据使能技术平台集成实施](https://support.huaweicloud.com/gpdes-dma/gpdes_10.md): 在为客户进行服务部署设计时,网络架构规划是一个非常重要的环节。一个好的网络架构规划可以提高系统的可用性、性能和安全性,同时还能帮助节省成本。在进行网络架构规划时,除了考虑传统的网络因素外,还需要了解相关的技术架构和云服务。技术架构涉及到系统的整体设计和组件之间的交互方式,而云服务则提供了各种功能和工具来支持应用程序的部署和运行。因此,在进 - [数据使能方案实施](https://support.huaweicloud.com/gpdes-dma/gpdes_11.md): 数据采集、数据存储和数据处理等关键组件相互协作,为企业提供了高效、可靠的数据处理能力。在模型设计部分,详细介绍了如何设计数据模型,包括数据表的结构、字段定义和关系等。强调了良好的模型设计对于数据处理的重要性,并提供了一些最佳实践和建议。在物理模型开发中,除了设计数据模型的结构和字段定义,还需要进行以下步骤:建立模型目录名称:为了组织和管理 - [数据应用集成设计与实施](https://support.huaweicloud.com/gpdes-dma/gpdes_12.md): 数据应用集成设计与实施作为数据管理实施专业服务中的一个非必选项,主要面向客户数据消费场景多,IT能力弱的场景提供服务。工作内容包括数据应用集成实施和数据应用内容开发,将多个数据应用进行打通组合,或针对特定业务场景进行报表设计与开发。这部分工作偏向于IT侧和业务应用侧,不属于数据平台上线的必要条件。数据应用集成实施:数据应用集成实施的目标是 - [自助分析平台](https://support.huaweicloud.com/gpdes-dma/gpdes_14.md): 基于华为云商店产品,帆软FineReport和FineBI,华为和帆软共同为本项目开发了自助分析平台。FineReport,企业级web报表工具,支持通过简单拖拽操作便可制作中国式复杂报表,轻松实现报表的多样展示、交互分析、数据录入等需求。借助于FineReport的无码理念,可以轻松地构建出灵活的数据分析,网络直报等应用系统,大大缩短项 - [用户推荐平台](https://support.huaweicloud.com/gpdes-dma/gpdes_15.md): 本项目建设的用户推荐平台基于华为云客户数据平台CDP。用户推荐平台以治理后的数据为基础,使用高效、准确的用户推荐模型,建设消费者数据中心并建立人群画像,挖掘用户行为数据,驱动业务决策实现智能化全场景营销体验,助力企业实现精细化运营和营销。以华为云客户数据平台为基础建设本项目用户推荐平台,以本期项目数据治理为数据基础,主要基于用户域和销售域 - [修订记录](https://support.huaweicloud.com/gpdes-dma/gpdes_16.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 天眼查商业查询解决方案实践 - [方案概述](https://support.huaweicloud.com/tbis-dma/tbis_01.md): 天眼查可提供多样性解决方案,助力政府、机构、企业客户在自建风控、拓客、供应商管理系统等应用场景提升决策确定性。企业可使用天眼查数据自建业务平台,基于云端百种数据接口,按需调取,快速搭建自己的商业数据库,满足企业实现低成本、高效调用数据的需求。具有全维度数据、稳定及时、安全准确、赋能多业务场景的核心特征。在金融领域,可应用于信用风险评估、合 - [资源和成本规划](https://support.huaweicloud.com/tbis-dma/tbis_02.md): 天眼查商业查询解决方案所涉及的Offering为天眼查200+个API接口,客户购买时,按需选择购买对应的功能API接口。天眼查商业查询解决方案,客户在使用时,不涉及购买华为云服务。因此涉及的资源基成本仅为天眼查API,无华为云服务。 - [操作流程](https://support.huaweicloud.com/tbis-dma/tbis_03.md): 客户可以从华为云官网的线上配置器选择所需的功能API;客户购买相关API服务后,按照接口调测文档进行接口调测;客户在使用API过程中,不涉及华为云服务的直接使用。 - [实施步骤](https://support.huaweicloud.com/tbis-dma/tbis_04.md): 客户在购买API后,可选择所购买的API接口进行相关调校工作。具体接口信息可在网址:https://open.tianyancha.com/api_list 获取因为天眼查商业查询的216个接口,对接操作方式相同,因此下面以API“1116-企业基本信息”为例,做使用调测说明。基本信息:是否需要授权是,需要添加请求header请求参数需要 - [修订记录](https://support.huaweicloud.com/tbis-dma/tbis_05.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 快速构建高可用TiDB集群 - [方案概述](https://support.huaweicloud.com/tidb-dma/tidb_01.md): 该解决方案基于开源项目TiDB构建,可以帮助您在华为云上快速部署高可用TiDB集群。TiDB是一款云原生的分布式数据库,兼容MySQL5.7协议和MySQL生态,具有高可靠、高可用、可扩展等特点,适用于金融行业场景、海量数据及高并发的OLTP场景、实时HTAP场景以及数据汇聚、二次加工处理等场景。该解决方案部署架构图如下:该解决方案会部署 - [资源和成本规划](https://support.huaweicloud.com/tidb-dma/tidb_02.md): 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格计算器,实际收费以账单为准。 - [准备工作](https://support.huaweicloud.com/tidb-dma/tidb_04.md): 统一身份认证菜单如果委托存在,则不用执行接下来的创建委托的步骤。如果委托不存在时执行接下来的步骤创建委托。 - [快速部署](https://support.huaweicloud.com/tidb-dma/tidb_05.md): 本章节主要帮助用户快速部署该解决方案 - [开始使用](https://support.huaweicloud.com/tidb-dma/tidb_06.md): 有关TiDB详细使用指导请参考TiDB产品文档。该解决方案涉及到的TiDB组件端口默认不开放,实际使用中请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务,使用默认配置部署的TiDB全部组件端口表请参考TiDB端口说明。后续文档将展开TiDB的基础使用与集群监控,请预先配置如下端口的安全组规则:1、22端口:用于登录Monito - [快速卸载](https://support.huaweicloud.com/tidb-dma/tidb_07.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [附录](https://support.huaweicloud.com/tidb-dma/tidb_08.md): 基本概念、云服务简介、专有名词解释弹性公网IP EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。虚拟私有云 VPC:为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。弹性负载均衡 ELB - [修订记录](https://support.huaweicloud.com/tidb-dma/tidb_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 快速构建高可用Flink集群 - [方案概述](https://support.huaweicloud.com/flink-dma/flink_01.md): 该解决方案基于开源框架Flink,帮助您在华为云上快速构建Flink集群环境。Apache Flink是一个开源的流式数据流执行引擎,用于分布式计算,用于对无界数据流和有界数据流进行有状态计算,它可以用于对数据实时处理、批处理和流批一体化处理。如金融交易数据处理、网络流量监控、服务器日志数据分析等场景。该解决方案基于华为云弹性云服务器 E - [资源和成本规划](https://support.huaweicloud.com/flink-dma/flink_02.md): 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。 - [准备工作](https://support.huaweicloud.com/flink-dma/flink_04.md): 当您首次使用华为云时注册的账号,则无需执行该准备工作,如果您使用的是IAM用户账户,请确认您是否在admin用户组中,如果您不在admin组中,则需要为您的账号授予相关权限,并完成以下准备工作。统一身份认证菜单如果委托存在,则不用执行接下来的创建委托的步骤如果委托不存在时执行接下来的步骤创建委托 - [快速部署](https://support.huaweicloud.com/flink-dma/flink_05.md): 本章节主要帮助用户快速部署“快速构建高可用Flink集群”解决方案。 - [开始使用](https://support.huaweicloud.com/flink-dma/flink_06.md): 有关Flink详细文档请参考Flink文档。该解决方案使用的资源版本:(Flink版本:1.18.0, Java版本:JDK-21)。该解决方案默认部署在新建VPC下,VPC的网段为:172.16.0.0/16。业务系统和该方案部署的Flink集群服务须在不同VPC下的不同网段,可参考创建VPC对等连接实现网络互通。保证业务系统和新建的V - [快速卸载](https://support.huaweicloud.com/flink-dma/flink_07.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [附录](https://support.huaweicloud.com/flink-dma/flink_08.md): 基本概念、云服务简介、专有名词解释弹性云服务器 ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。虚拟私有云 VPC:为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络 - [修订记录](https://support.huaweicloud.com/flink-dma/flink_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 华为云政务场景数据使能解决方案 - [方案概述](https://support.huaweicloud.com/egdes-dma/egdes_01.md): 某市一体化政务数据中台为一体化政务服务平台提供数据支撑,提升一体化政务服务平台服务能力,能够为政务服务智能审批、一证通办等改革创新、“跨区域、跨部门、跨层级”业务协同提供技术和数据支撑,打通数据壁垒,实现“数据多跑路、群众少跑腿”的政务服务目标,将“便民、利民”的目标落到实处。总体架构本项目总体架构设计如下图所示:总体架构基础设施层:云基 - [资源和成本规划](https://support.huaweicloud.com/egdes-dma/egdes_02.md): 本方案基于 华为云Stack Online 底座部署,属于基地云模式。资源开通向基地发起申请,基地开通后给出。无单独的成本规划。在项目交付期间,基地云整体未完成验收转维前,由于业务中台、数据中台建设需求,需要提前开通各中台所需云资源。此时根据各中台建设厂商提出资源需求表给基地云交付团队,并抄送客户(大数据公司),基地云交付团队规划、发放相 - [环境确认](https://support.huaweicloud.com/egdes-dma/egdes_04.md): 在环境准备完成之后,开始部署前,根据部署清单里面的信息,确认是否满足要求。防止因为不满足要求而导致的部署失败和后期可能出现的使用不正常。根据部署清单确认 CPU、内存、硬盘是否一致。查看 CPU个 数:输入命令:输出:2 即表示2个查看CPU核数:输入命令:输出:cpu cores:4 2*4=8 一共是8核查看 CPU 型号:输入命令 - [系统配置](https://support.huaweicloud.com/egdes-dma/egdes_05.md): 本节介绍 xx容器平台中系统的配置,该章节是配置一个系统的开始。通常情况下,在项目上通常都会有两套系统,分别是测试系统 、正式系统,一般的流程是在测试系统上验证开发侧的代码,与业主方确认无误后在更新至正式系统。在“部署编排 > 系统分类”中单击新增系统按钮,在界面中可以输入系统名称与选择划归到该系统下的主机,还可以选择配置是否在主题页中现 - [Nginx](https://support.huaweicloud.com/egdes-dma/egdes_07.md): 组件说明FAQ:此章节为项目上需要使用 nginx 负载均衡或者使用 https 时才会使用到Nginx 是一个高性能的 HTTP和反向代理服务器。FAQ:此章节为项目上需要使用 nginx 负载均衡或者使用 https 时才会使用到Nginx 是一个高性能的 HTTP和反向代理服务器。容器创建所属服务:新增服务的时候需要注意一定要选择 - [全文检索](https://support.huaweicloud.com/egdes-dma/egdes_08.md): 组件说明提供快速检索功能提供快速检索功能容器创建所属服务:新增服务的时候需要注意一定要选择 Tomcat 类型。主机名称:按照规划的服务器选择用于部署全文检索的服务器即可。容器名称:按照实际情况取名。镜像名称:docker.epoint.com.cn/library/inteligentsearch镜像版本:选择 v1.0-snapsho - [统一支撑平台](https://support.huaweicloud.com/egdes-dma/egdes_09.md): 组件说明统一支撑平台用于统一的应用管理、组织架构管理、API 服务管理、附件管理等。统一支撑平台用于统一的应用管理、组织架构管理、API 服务管理、附件管理等。数据库还原统一认证和统一支撑使用同一个数据库,两个平台仅需要还原一次数据库。统一认证和统一支撑使用同一个数据库,两个平台仅需要还原一次数据库。容器创建容器创建1所属服务:新增服务的 - [一体化数据管理平台](https://support.huaweicloud.com/egdes-dma/egdes_10.md): 组件说明一体化数据管理平台包括目录管理模块、资源管理模块、数据供需模块、绩效考核模块、运行监控模块、数据治理模块。首先需要在平台发布下载最新的发布包,由项目开发打成部署包,然后在 PAAS 平台中构建镜像。一体化数据管理平台包括目录管理模块、资源管理模块、数据供需模块、绩效考核模块、运行监控模块、数据治理模块。首先需要在平台发布下载最新的 - [共享门户](https://support.huaweicloud.com/egdes-dma/egdes_11.md): 容器创建容器创建1所属服务:新增服务的时候需要注意一定要选择 Tomcat 类型。容器创建2主机名称:按照规划的服务器选择用于共享门户的服务器即可。容器名称:按照实际情况取名。业务文件夹名称:需要与 DockerFile 文件中的项目名称一致。容器创建3镜像名称:使用流水线构建完成之后的镜像地址。容器创建4镜像版本:按照实际情况选择。一般 - [开放门户](https://support.huaweicloud.com/egdes-dma/egdes_12.md): 访问验证登录相应页面,正常显示。业务平台部署成功。登录相应页面,正常显示。业务平台部署成功。容器创建下面介绍容器创建页面配置项,未提到的使用默认配置:创建1所属服务:新增服务的时候需要注意一定要选择 Tomcat 类型。创建2主机名称:按照规划的服务器选择用于部署开放门户的服务器即可。容器名称:按照实际情况取名。业务文件夹名称:需要与 D - [数据交换平台管理端](https://support.huaweicloud.com/egdes-dma/egdes_13.md): 组件说明交换管理端用于对交换节点的统一管控,包括数据源的新增修改、作业的批量生成、作业的启动停止、作业状态的监控、作业执行情况的监控等。组件说明交换管理端用于对交换节点的统一管控,包括数据源的新增修改、作业的批量生成、作业的启动停止、作业状态的监控、作业执行情况的监控等。数据库还原在 MySQL 实例上面创建数据库,数据库名称为 dxp; - [数据交换节点](https://support.huaweicloud.com/egdes-dma/egdes_14.md): 组件说明交换节点用于执行各自的交换作业。交换节点用于执行各自的交换作业。数据库还原不同部门可能使用不同的交换节点,每个交换节点需要使用单独的数据库。在 MySQL 实例上面创建数据库,数据库名称为 dxp_node;中心节点: 部门前置节点:从数据交换节点部署包中复制出数据库备份文件,还原到上一步创建的数据库中。不同部门可能使用不同的 - [概述](https://support.huaweicloud.com/egdes-dma/egdes_16.md): 场景介绍:以人口库建设为场景,介绍数据从部门前置库进入到最后从资源目录挂载出来的整个流程的实现。前置条件:部门已经建设好前置库,并且在前置库中推了数据。整体流程:部门前置库数据经过库表采集环节进入资源库(中心前置库)。资源库数据经过数据质检、分析来源并接入到数据治理平台对应的模型中(对应人口库模型构建环节)。数据治理平台的数据经过落标与清 - [库表采集](https://support.huaweicloud.com/egdes-dma/egdes_17.md): 左侧导航栏依次选择单击资源管理、库表管理、采集元数据,配置所需要的数据源表, 并依照数据标准规范,合理命名元数据名称,以及代码等项,将采集到的数据资源进行复制至部门资源库,找到部门资源库对应库表物化库表资源,最后通过数据桥接同步对应库表数据。采集元数据:复制元数据:库表物化:数据桥接: - [数据质检](https://support.huaweicloud.com/egdes-dma/egdes_18.md): 数据质检主要是将库中错误数据检测出来,与治理流程的清洗定义中的过滤规则不同的是,独立质检是将不规范的数据检测出来,并不改变质检表的数据,治理流程中的过滤规则是将不符合规范的数据过滤掉,改变质检表的数据。检测出错误数据后,可以查看错误数据原因、导出错误数据到 excel 中、导出质检报告供部门整改用,数据质检完对错误数据可以发起工单给到具体 - [构建人口库模型、分析来源并接入](https://support.huaweicloud.com/egdes-dma/egdes_19.md): 在标准的人口库中应包含人口基本信息表 T_RK_BaseInfo、人口婚姻 T_RK_Marriage 等表信息,先结合实际需求将人口库所需表维护至模型管理中(下面4模型设计)。融合、发布所需目标表可于【数据标准】-【数据模型】-【模型管理】-【逻辑模型】处设计,管理员从左侧树中拖出需要的表、字段或直接手动添加,拼接为最终的可发布表结构, - [落标与清洗](https://support.huaweicloud.com/egdes-dma/egdes_20.md): 由于部门资源库表由各部门维护,可能会存在相同数据结构不一致等状况(例:国标姓名长度为 30,部门可能存在长度过长数据),故需通过标准定义为部门资源库表配置数据元并基于数据元为其生成标准表。不同部门的业务库,字段规则并不统一,要形成统一的库,就必须要指定统一标准,此时便可借助数据定义,规范字段的中文名、关联标准的数据元,如果字段是代码项的也 - [融合与发布](https://support.huaweicloud.com/egdes-dma/egdes_21.md): 融合不是一个必须的过程,对于例举的人口基本信息、概况信息等常用宽表,可用到融合,而如果仅公安临时需要人社、婚姻及教育局部分数据字段,可直接通过发布作业进行拼接。应用开始构建的人口库模型, 将表物化到基础层、发布库。通过融合作业,讲前序产生的户籍、教育等标准表进行拼接,数据汇聚入人口概况宽表。再通过发布作业将概况宽表发布至发布库。数据融合非 - [挂载资源目录](https://support.huaweicloud.com/egdes-dma/egdes_22.md): 左侧导航栏依次选择单击资源管理、资源注册、按库表注册,在跳转页面选择想要挂载的数据,单击页面右侧的库表注册按键,再次跳转至图三后, 填写数据对应的基本信息,以及共享属性后提交审核,并完成挂载资源注册:库表注册: - [附录](https://support.huaweicloud.com/egdes-dma/egdes_23.md): 自党的十八大以来,党中央、国务院多次研究部署并加快推进“互联网+政 务服务”,陆续出台审批服务便民化、“互联网+政务服务”、优化营商环境等一 系列政策文件;十九大以后,更是明确提出打造数字政府、培育数字经济、构 建数字社会,尤其是在《中华人民共和国国民经济和社会发展第十四个五年规划和 2035年远景目标纲要》中,着重提出提高数字政府建设水 - [修订记录](https://support.huaweicloud.com/egdes-dma/egdes_24.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 数鑫科技领域数据空间解决方案 - [方案概述](https://support.huaweicloud.com/sdss-dma/sdss_01.md): 数据流通需求日益旺盛,然而在跨主体数据流通的过程中却面临着安全和信任的难题。2022年12月,中共中央、国务院发布了《关于构建数据基础制度更好发挥数据要素作用的意见》(简称“数据二十条”)。数据二十条”的核心主线是促进数据合规高效流通使用,赋能实体经济。并且明确提出构建集约高效的数据流通基础设施,提供低成本、高效率、可信赖的可信数据流通环 - [资源和成本规划](https://support.huaweicloud.com/sdss-dma/sdss_02.md): 建议采用分布式部署的方式:DPE按五个节点来配置云服务器资源;DCE按三个节点来配置云服务器资源;后期随着业务量的增加,可支持横向扩展云服务器资源,以满足业务使用。 - [操作流程](https://support.huaweicloud.com/sdss-dma/sdss_03.md): 领域数据空间流通平台业务操作流程: - [系统初始化](https://support.huaweicloud.com/sdss-dma/sdss_06.md): 修改如下配置项:时间以当前时间为准 - [数据层服务安装](https://support.huaweicloud.com/sdss-dma/sdss_07.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [计算与缓存服务安装](https://support.huaweicloud.com/sdss-dma/sdss_08.md): 计算与缓存服务安装全部使用普通用户,执行:su - dpe所有节点都需要执行这个配置文件需要与dpe-control-plane-data-svcs里面的dpe-common.properties完全一致 - [控制平面服务安装](https://support.huaweicloud.com/sdss-dma/sdss_09.md): 控制平面服务安装全部使用普通用户,执行:su - dpe这个配置文件需要与dpe-control-plane-data-svcs里面的dpe-common.properties完全一致将下面中的配置文件项dpe-control-plane-mgr-svr替换成控制平面服务器的ip地址 - [管道服务安装](https://support.huaweicloud.com/sdss-dma/sdss_10.md): 单机部署时管道服务不需要安装,多机部署时则部署至规划好的管道服务器上面管道服务安装全部使用普通用户,执行:su - dpe这两个配置文件需要和dpe-control-plane-mgr-svcs下的完全一致 - [系统初始化](https://support.huaweicloud.com/sdss-dma/sdss_12.md): 系统初始化操作都需要使用root用户执行修改如下配置项: - [数据层服务安装](https://support.huaweicloud.com/sdss-dma/sdss_13.md): 数据层服务安装全部使用普通用户,执行:su - dce - [联合计算服务安装](https://support.huaweicloud.com/sdss-dma/sdss_14.md): 联合计算服务安装全部使用普通用户,执行:su - dce所有节点都需要执行这个配置文件需要与dce-control-plane-data-svcs里面的dce-common.properties完全一致 - [控制平面服务安装](https://support.huaweicloud.com/sdss-dma/sdss_15.md): 控制平面服务安装全部使用普通用户,执行:su - dce这个配置文件需要与dce-control-plane-data-svcs里面的dce-common.properties完全一致将下面中的配置文件项dce-control-plane-mgr-svr替换成控制平面服务器的ip地址 - [管道服务安装](https://support.huaweicloud.com/sdss-dma/sdss_16.md): 单机部署时管道服务不需要安装,多机部署时则部署至规划好的管道服务器上面管道服务安装全部使用普通用户,执行:su - dce这两个配置文件需要和dce-control-plane-mgr-svcs下的完全一致 - [部署结果验证](https://support.huaweicloud.com/sdss-dma/sdss_17.md): 按windows上的win+r按钮弹出运行界面,里面输入powershell,然后按回车输入dns解析成功则会返回正确的ip地址,如果没有解析成功,则需要联系域名解析服务商。dns解析信任关系管理URL设备授权层URL应用授权层URL应用会话层URL使用控制层URL数据推拉层URL进入系统配置功能模块,在设备接入地址中输入所配置的域名或配 - [修订记录](https://support.huaweicloud.com/sdss-dma/sdss_18.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 普元元数据资产管理解决方案 - [方案概述](https://support.huaweicloud.com/primetonmams-dma/primetonmams_01.md): 场景1:数据标签库应用场景通过标签管理分析与预测,企业提升服务质量、效率、回馈。客户的痛点:潜在投诉风险预警:热线渠道是电网企业的主要服务渠道,随着业务的不断发展,人工话务强度逐步增高,但精准服务能力低。如何在有限人力资源条件下,准确识别客户诉求、提高人工精准服务和精细化服务水平、降低人工话务工作压力、成为客户服务方面亟需解决的问题。电费 - [资源和成本规划](https://support.huaweicloud.com/primetonmams-dma/primetonmams_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [基础配置-宽表配置](https://support.huaweicloud.com/primetonmams-dma/primetonmams_05.md): 说明:“模式/库名”与“宽表名”是对应的,“模式/库名”就是数据库schema,“宽表名”就是库里面的表;“模式/库名”和“宽表名”可以填写计算库配置的这个账号里面所有有权限的库和表可以添加多张宽表是否主键:选择数据库表的主键或者值唯一的字段作为主键,宽表的主键尽量是字符类型是否脱敏:选择字段是否脱敏格式化:选择字段格式化(基础配置-宽表 - [基础配置-主体配置](https://support.huaweicloud.com/primetonmams-dma/primetonmams_06.md): 基础配置-主体配置页面,新增标签主体,在新增标签主体页面 - [标签制作-标签创建](https://support.huaweicloud.com/primetonmams-dma/primetonmams_07.md): 选择新建的目录,单击标签创建,在新建标签页面标签类型是从标签生成方式的维度对标签进行划分的一种类型,选择后,标签逻辑配置页面不同,可根据选择的标签类型不同,进行配置不同的标签逻辑规则标签:是指通过简单规则运算而生成的标签。规则标签分为可视化和 SQL 模式两种规则标签。可视化规则标签,是直接通过拖拽的方式将某些字段拉入逻辑框中,进行基本字 - [业务画像-画像更新](https://support.huaweicloud.com/primetonmams-dma/primetonmams_08.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [标签应用-画像查询与群体分析](https://support.huaweicloud.com/primetonmams-dma/primetonmams_09.md): 单击标签应用-画像查询,上方左侧选择对应的主体,右侧进行搜索,则下方左侧显示该搜索值的基本信息,下方右侧显示中标画像(当搜索值同时中标该主体下的多个标签时,则画像展示为多个)单击标签应用-群体分析,在群体分析界面,选择左侧目录,单击筛选目录群体,可筛选标签和列的组合进行筛选数据,进行保存。后续可以直接查看该群体的分析结果和群体画像 - [数据资源目录管理](https://support.huaweicloud.com/primetonmams-dma/primetonmams_12.md): 数据资源目录是以树型结构管理和展现的包括数据库、大数据、Web服务和文件等资源在内的注册信息。数据资源目录管理包括节点管理、数据库资源管理、大数据管理、接口服务管理、业务分类管理等。数据管理员登录数据服务共享平台,对资资源目录进行配置管理。节点是各类资源的挂接点,在本平台中,对应于公司总部及各分、子公司(或组织机构)。其主要功能包括:节点 - [数据使用](https://support.huaweicloud.com/primetonmams-dma/primetonmams_13.md): 消费者可通过系统管理员进行账号的创建和权限分配。主要功能包括:基本信息维护;密码初始化、修改;消费者权限分配。数据资源申请消费方通过资源申请方式申请主题分类资源树中的数据实体资源,相对平台而言“拉”的方式,消费方申请资源后并且审批通过,向消费方开放Web服务及数据信息,由消费方主动获取资源,主要功能包括:数据资源分类展现,数据资源搜索;消 - [数据服务开发](https://support.huaweicloud.com/primetonmams-dma/primetonmams_14.md): 数据服务共享平台(DSP)数据服务开发可分为在线开发和离线开发两种。离线开发是只通过Studio进行数据模型开发和Web服务的开发,离线开发的模型只需通过平台部署即可,此处不再赘述。本节内容主要是面向在线开发。单表服务通过平台数据资源目录,可以关联单个表资源发布为数据服务,通过界面化配置选择需要发布的表字段、配置查询条件、自动生成SQL( - [服务控制](https://support.huaweicloud.com/primetonmams-dma/primetonmams_15.md): 消费者访问数据服务共享平台中web服务共享资源,数据管理员给消费者分配web服务的访问权限。其主要功能包括:支持web服务调用关系管理;支持Server端调用关系控制处理;支持Server端调用关系控制告警信息处理;支持消费者与Web服务调用关系控制关系配置。消费者访问数据服务共享平台中Web服务共享资源,数据管理员对服务状态进行管理,控 - [调度管理](https://support.huaweicloud.com/primetonmams-dma/primetonmams_16.md): 支持自定义作业执行的频度、日历信息,可以为不同作业定义不同调度频率和日历。数据服务共享平台为开发人员提供按照计划自动执行作业的能力,支持在计划中配置自定义的频度、日历、作业、作业执行优先级等内容。数据服务共享平台为开发人员提供图形编排调度作业的能力,包括作业的设计优先级,依赖关系等。数据服务共享平台为开发人员提供基本的调度管理触发功能,支 - [运行监控](https://support.huaweicloud.com/primetonmams-dma/primetonmams_17.md): 数据服务共享平台上的作业和文件传输运行状态的监控,其中作业状态展示最近一次作业的运行状态数据,文件传输则显示当前的实时传输进度。前置交换监控查询浏览从前置区角度查看最近一次作业运行状态从前置区角度查看文件传输实时进度从前置区角度查看最近一次作业运行状态从前置区角度查看文件传输实时进度共享交换监控查询浏览从共享区角度查看最近一次作业运行状态 - [统计分析](https://support.huaweicloud.com/primetonmams-dma/primetonmams_18.md): 对源和前置区或者前置区和共享区、共享区和消费者之间数据交换的数据量进行监控。对作业执行的数据总量(条数)等进行监控统计。 通过从提供者的纬度来对数据指标进行显示。其主要功能包括:节点到节点之间数据交换总量统计库到库之间数据交换总量统计表和表之间数据交换总量统计缓存统计(定期计算统计维度指标)数据管理员根据配置好的源和前置区、前置区和共享区 - [数据标签库管理实施步骤](https://support.huaweicloud.com/primetonmams-dma/primetonmams_20.md): MySQL数据库初始化MySQL数据必须禁用大小写敏感登录MySQL数据库按以下顺序执行初始化脚本文件:1_mysql_create.sql 2_mysql_init_data.sqlMySQL数据必须禁用大小写敏感登录MySQL数据库按以下顺序执行初始化脚本文件:DWS数据库初始化高斯数据库根据使用的模式不一样,初始化操作也不一样,分为 - [安装前准备](https://support.huaweicloud.com/primetonmams-dma/primetonmams_32.md): 已下载需要安装组件的安装包,*.tar 安装包适用于 Linux 操作系统,*.zip 安装包适用于 Windows 操作系统。许可证申请与安装开发永久许可版:软件包自带,自带的License满足如下控制项条件正式版:如果自带的License不满足实际需求,需要申请正式许可证,请联系普元销售人员,申请正式版许可证文件Governor:{D - [安装须知](https://support.huaweicloud.com/primetonmams-dma/primetonmams_33.md): 标准产品 DSP V7.0 配套的组件及相关资源版本如下所示免责声明:本产品安装指南仅为向客户提供关于安装及卸载DSPV7.0产品的说明而准备。我们不对在本产品安装指南中所援引的任何第三方产品的内容、服务功能、可靠性、可用性、兼容性或其他任何 性能做作出任何承诺,本产品的范围亦不包括该等第三方产品。我们在本产品安装指南中所对任何第三方提供 - [DSP Governor](https://support.huaweicloud.com/primetonmams-dma/primetonmams_34.md): 安装到Tomcat解压安装Linux#tar -xvf Primeton_DSP_7.0_Governor_Linux_64.tar -C DSPGovernor#tar -xvf Primeton_DSP_7.0_Governor_Linux_64.tar -C DSPGovernorWindows用解压工具将 “Primeton_D - [DSP Server](https://support.huaweicloud.com/primetonmams-dma/primetonmams_35.md): 解压安装Linux#tar -xvf Primeton_DSP_7.0_Server_Linux_64.tar -C DSPServer#tar -xvf Primeton_DSP_7.0_Server_Linux_64.tar -C DSPServerWindows用解压工具将 “Primeton_DSP_7.0_Server_Win - [DSP Scheduler](https://support.huaweicloud.com/primetonmams-dma/primetonmams_36.md): 安装到TomcatLinux#tar -xvf Primeton_DSP_7.0_Scheduler_Linux_64.tar -C DSPScheduler#tar -xvf Primeton_DSP_7.0_Scheduler_Linux_64.tar -C DSPSchedulerWindows用解压工具将 “Primeton_D - [DSP DataRelease](https://support.huaweicloud.com/primetonmams-dma/primetonmams_37.md): 安装到TomcatLinux#tar -xvf Primeton_DSP_7.0_DataRelease_Linux_64.tar -C DSPDataRelease#tar -xvf Primeton_DSP_7.0_DataRelease_Linux_64.tar -C DSPDataReleaseWindows用解压工具将 “Pr - [DSP SSM](https://support.huaweicloud.com/primetonmams-dma/primetonmams_38.md): 解压安装Linux#tar -xvf Primeton_DSP_7.0_SSM_Linux_64.tar -C DSPSSM#tar -xvf Primeton_DSP_7.0_SSM_Linux_64.tar -C DSPSSMWindows用解压工具将 “Primeton_DSP_7.0_SSM_Windows_64.zip” - [DSP Agent](https://support.huaweicloud.com/primetonmams-dma/primetonmams_39.md): 解压安装Linux#tar -xvf Primeton_DSP_7.0_Agent_Linux_64.tar -C DSPAgent#tar -xvf Primeton_DSP_7.0_Agent_Linux_64.tar -C DSPAgentWindows用解压工具将 “Primeton_DSP_7.0_Agent_Windows_ - [DSP GatherClient](https://support.huaweicloud.com/primetonmams-dma/primetonmams_40.md): 解压安装Linux#tar -xvf Primeton_DSP_7.0_GatherClient_Linux_64.tar -C DSPGatherClient#tar -xvf Primeton_DSP_7.0_GatherClient_Linux_64.tar -C DSPGatherClientWindows用解压工具将 “Pri - [DSP Studio](https://support.huaweicloud.com/primetonmams-dma/primetonmams_41.md): 在“DSPStudio” 目录中,双击“startDSPStudio.cmd”,启动DSP Studio,如下图所示。关闭DSP Studio后,直接删除“DSPStudio”目录来卸载。 - [附录](https://support.huaweicloud.com/primetonmams-dma/primetonmams_42.md): 数据标签库管理常见问题问题1:修改应用默认端口停止应用修改taglibr/conf/server.xml中如下内容修改应用默认端口启动应用停止应用修改taglibr/conf/server.xml中如下内容修改应用默认端口启动应用问题2:软件安装后无法启动?查看应用安装路径下的bdatag/logs/catalins.out日志文件,具体 - [修订记录](https://support.huaweicloud.com/primetonmams-dma/primetonmams_47.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 驾驶行为分析 - [方案概述](https://support.huaweicloud.com/dba-dma/dba_01.md): 该解决方案基于华为云数据湖探索 DLI Spark作业构建,通过对驾驶人驾驶行为的分析,帮助您快速的进行车辆数据管理与分析。DLI 是一个强大的大数据处理平台,它可以帮助您轻松地管理和分析车辆数据。通过使用标准 SQL 和 Spark 程序,您可以在云上进行多数据源的联合计算分析,从而挖掘和探索数据价值。适用于以下场景:1、智能驾驶: 通 - [资源和成本规划](https://support.huaweicloud.com/dba-dma/dba_02.md): 该解决方案主要部署如下资源,不同产品的花费仅供参考,实际以收费账单为准,具体请参考华为云官网价格: - [准备工作](https://support.huaweicloud.com/dba-dma/dba_04.md): 当您首次使用华为云时注册的账号,则无需执行该准备工作,如果您使用的是IAM用户账户,请确认您是否在admin用户组中,如果您不在admin组中,则需要为您的账号授予相关权限,并完成以下准备工作。统一身份认证菜单如果委托存在,则不用执行接下来的创建委托的步骤如果委托不存在时执行接下来的步骤创建委托如果搜索结果不为空,则当前账号已经存在IAM - [快速部署](https://support.huaweicloud.com/dba-dma/dba_05.md): 本章节主要帮助用户快速部署该解决方案。 - [开始使用](https://support.huaweicloud.com/dba-dma/dba_06.md): 云数据库RDS 默认使用3306端口,该方案默认针对子网网段及DLI网段开放,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。如果您的实例关联的安全组策略无法满足 - [快速卸载](https://support.huaweicloud.com/dba-dma/dba_07.md): 卸载解决方案前,请先确保OBS桶中无数据,否则解决方案将卸载失败。 - [附录](https://support.huaweicloud.com/dba-dma/dba_08.md): 基本概念、云服务简介、专有名词解释对象存储服务 OBS:对象存储服务(Object Storage Service,OBS)是一个基于对象的存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,使用时无需考虑容量限制,并且提供多种存储类型供选择,满足客户各类业务场景诉求。数据湖探索 DLI:数据湖探索(Data Lake Insi - [修订记录](https://support.huaweicloud.com/dba-dma/dba_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 软通动力数据中台及数据治理服务解决方案实践 - [方案概述](https://support.huaweicloud.com/idms-dma/idms_01.md): 软通动力数据中台及数据治理服务解决方案采用“轻量化、高解耦、全场景、零代码”的架构设计,具备多部署模式、灵活产品组合、无缝集成对接等核心特性,且能够提供数据中台咨询、实施及运维专业端到端服务。应用场景数据使能咨询、数据集成与开发、工业物联数据采集与分析、数据治理与数据安全实施、BI应用开发、行业AI应用开发、行业数据应用开发、数据与数据平 - [资源和成本规划](https://support.huaweicloud.com/idms-dma/idms_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [用户管理](https://support.huaweicloud.com/idms-dma/idms_05.md): 用户分为三个角色:系统管理员/数据管家/普通用户系统管理员:项目初始化角色不可编辑数据管家:该角色只能系统管理员来创建,该角色拥有元数据管理平台上数据的查询和编辑权限普通用户:系统管理员和数据管家都可以创建该角色,该角色只具备元数据管理平台数据查询权限 - [模型架构](https://support.huaweicloud.com/idms-dma/idms_06.md): 在适配器中该类已经被添加了sql语句的,不能编辑修改,如要修改,必须将该类下面对应的sql语句都删除掉。单击按钮弹出页面进行修改。 - [适配器](https://support.huaweicloud.com/idms-dma/idms_07.md): 新增适配器信息适配器名称:必填适配器编码:必填 不能重复适配器类型:单选(MYSQL/ORACLE/POSTGRES/MSSQL)类脚本:选填可以对已经创建好的适配器信息进行编辑,字段校验规则参考新增。修改特殊处理规则:新增适配器脚本时,如果该适配器已经创建了采集任务,所有已经创建的采集任务及对应的子任务都需要重新部署修改已经存在的适配器 - [采集任务](https://support.huaweicloud.com/idms-dma/idms_08.md): 任务名称:必填 不可重复描述:选填数据源:必填 选择已经存在的数据源模型名称:必填 选择已经存在的模型适配器:必填 选择模型下存在的适配器开始执行时间:必填 采集任务首次开始执行时间调度周期:必填 采集任务的调度频率选择未部署的采集任务才可以编辑采集任务重新部署:部署失败的采集任务可以进行重新部署。子任务重新部署部署失败的子任务可以重新进 - [功能列表](https://support.huaweicloud.com/idms-dma/idms_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [信息架构](https://support.huaweicloud.com/idms-dma/idms_11.md): 对主题域/主题/业务对象进行搜索。新建主题域:在页面左侧信息架构树根节点下新建主题域。编辑主题域:选中要修改的主题域,可重命名/删除主题域新建主题:在选中的数据库节点下新建主题。编辑主题:选中要修改的主题,可重命名/删除主题新增业务对象:在选中的主题节点下新建业务对象。编辑业务对象:选中要修改的业务对象,可重命名/删除业务对象新增实体属性 - [物理模型](https://support.huaweicloud.com/idms-dma/idms_12.md): 对数据库名/schema/物理表名进行搜索。新增数据库:在物理模型树根节点下新建数据库。编辑数据库:选中要修改的数据库,可重命名/删除数据库新增schema:在选中的数据库节点下新建schema。编辑schema:选中要修改的schema,可重命名/删除schema新增物理表编辑物理表:单击右侧表格中的“编辑”,跳转进入编辑物理表页面。批 - [数据标准](https://support.huaweicloud.com/idms-dma/idms_13.md): 对数据标准中文名/数据标准英文名/数据标准编码进行模糊搜索。批量数据标准信息填入下载的模板后上传,完成批量导入。批量删除所勾选的关系清单,默认置灰。单击按钮弹出页面进行修改。删除单个数据标准。 - [资产注册](https://support.huaweicloud.com/idms-dma/idms_14.md): 注册主题域、主题、业务对象、逻辑实体与技术资产之间的关系查看/修改/批量导出已注册的关系清单和属性关系,并能新增注册/批量注册/删除/批量删除属性关系。新增注册:跳转至关系注册页面批量注册:批量关系注册信息填入模板后上传,完成批量注册。导出:导出勾选的关系清单到本地批量删除:批量删除所勾选的关系清单,默认置灰。搜索:对逻辑实体/物理表名称 - [系统管理](https://support.huaweicloud.com/idms-dma/idms_15.md): 可新建系统用户,查看、维护系统用户的相关信息、账户状态和角色。新建用户:创建系统新用户操作:操作功能位于列表最右端,可对系统用户进行查看、编辑或者删除操作。展示已导入模板文件的详细信息,提供搜索功能。 - [功能列表](https://support.huaweicloud.com/idms-dma/idms_16.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [平台界面](https://support.huaweicloud.com/idms-dma/idms_18.md): 输入用户的账号和密码,登录进主页面。总览主要分为三大块内容:分别是集成任务数量图表展示,数据库类型占比图表,调度异常监控图表以及调度异常数据展示。数据源主要包含两块:左侧树状导航展示数据源路径、右侧可进行新建数据源操作。右侧可以查看或编辑数据源配置信息,包含数据源连接串、用户名、密码、数据源名称、数据源描述等;单击“新建数据源”,添加一个 - [数据集成](https://support.huaweicloud.com/idms-dma/idms_19.md): 数据集成主要包含三块:离线集成,实时集成,集成任务。主要为结构化集成和非结构化集成两种,结构化集成主要是离线集成部署方式,非结构化集成为API部署方式。结构化集成任务名称:自定义数据需求类型:目前只支持新增源数据源:为2.3页签数据源,可以单击新增保存新数据源,并且选择数据源后可以单击查看,数据源的相关信息目标数据源:要部署到的目标库数据 - [数据调度](https://support.huaweicloud.com/idms-dma/idms_20.md): 调度管理为离线任务部署管理页面,所有离线订单的部署任务汇总调度维护。部署任务订单状态成功,失败,并可以查看历史调度和操作日志。启动:任务状态为停止方可启动,默认置灰不可选停止:运行状态才可以停止,默认置灰不可选重新初始化:运行中状态订单可以执行,默认置灰不可选导出:勾选列表订单批量导出,不勾选默认为当前页面所有订单刷新:刷新页面订单的最新 - [功能列表](https://support.huaweicloud.com/idms-dma/idms_21.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [数据全景](https://support.huaweicloud.com/idms-dma/idms_23.md): 数据全景支持根据关键字或者主题域分组来查询数据资产信息,帮助用户能快速找到需要的数据。搜索:通过关键字搜索所需的资产信息搜索列表:展示搜索到的技术资产和业务资产技术资产详情:展示所选技术资产名的物理表、逻辑实体、字段、数据评论等详细信息逻辑实体详情:展示所选业务资产名的业务对象、数据分布、属性、数据评论等详细信息;通过单击下钻查看对应的技 - [资产注册](https://support.huaweicloud.com/idms-dma/idms_24.md): 通过逻辑实体与技术资产的关系注册,明确技术资产对应的逻辑实体、业务对象、主题域、主题域组,并定义属性与字段的关系、每个属性的密级和隐私,来确保数据的安全性。关系注册:注册主题域组、业务对象、逻辑实体与技术资产之间的关系。关系清单:查看/修改/批量导出已注册的关系清单和属性关系,并能新增/批量注册/删除/批量删除关系新增注册:跳转至关系注册 - [数据运营与质量](https://support.huaweicloud.com/idms-dma/idms_25.md): 展示数据的注册、使用情况;同时将热门物理表、逻辑实体和热搜词汇直观展示给用户,以供参考决策。总物理资产数量:系统中已存在的总的物理表数量注册资产总量:系统中已注册关系的资产数量访问量:访问系统的用户数量注册资产:展示近12个月中注册的关系资产的数量分布注册属性:展示近12个月中注册的属性关系的数量分布隐私分布:查看属性关系数据中字段的隐私 - [标签管理](https://support.huaweicloud.com/idms-dma/idms_26.md): 创建、删除标签,修改标签状态,供标记数据资产时使用。创建:创建新的标签批量导入:批量创建新的标签批量导出:批量导出勾选的标签批量删除:批量删除不需要的标签批量生效:批量修改勾选的标签的状态为有效状态状态:修改标签的状态对资产数据进行标记,便于用户依照标签分类快速获取数据并进行分析。创建:创建新的资产标签批量导入:批量创建新的资产标签批量导 - [系统管理](https://support.huaweicloud.com/idms-dma/idms_27.md): 用户可处理待办,查看电子流,管理系统用户。我已审批:查看用户已经参与过的电子流的信息,可在操作列进入详情查看电子流中问题详细信息。我的申请:查看用户发起申请的电子流的信息,可在操作列进入详情查看电子流中问题详细信息。我的待办:查看待用户处理的电子流的信息,可在操作列进入详情来处理电子流,问题处理人不能驳回电子流。用户管理:可新建系统用户, - [功能列表](https://support.huaweicloud.com/idms-dma/idms_28.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [总览](https://support.huaweicloud.com/idms-dma/idms_30.md): 查看当前用户所属应用下的资产数据、归档数据、销毁数据及归档任务统计信息。总资产:当前用户所属应用下的资产总数,明细可在2.4.2.2节所属领域资产页面中查看。已归档:已归档的物理表数量及容量。销毁资产:已销毁的归档成功的物理表数量及容量归档任务统计:归档任务运行状态的数据统计异常调度:归档失败的任务数据统计,分日/周/月/年四个时间维度统 - [数据源管理](https://support.huaweicloud.com/idms-dma/idms_31.md): 创建、维护数据归档的目标数据源。新建/重命名/删除目录新建数据源:新增数据归档的目标数据库名称、连接串、访问数据库的账号及密码 - [数据归档管理](https://support.huaweicloud.com/idms-dma/idms_32.md): 任何事物都具有一定的生命周期,数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法,将极少或者不再使用的数据从系统中剥离出来,并通过核实的存储设备进行保留,不仅能够提高系统的运行效率,更好的服务客户,还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含在线阶段、归档阶段(有时还会进一步划分为在线归档阶段和 - [系统管理](https://support.huaweicloud.com/idms-dma/idms_33.md): 系统管理员可对生命周期系统的用户、菜单、角色、租户进行管理。可新增、批量导入新用户,分配用户角色、修改用户状态、编辑维护用户信息以及删除用户,模糊搜索用户信息。新增:新增单个系统用户。批量导入:批量新增系统用户。分配角色:分配用户角色权限。移除角色:移除用户角色权限。用户状态:启用/禁用当前用户。编辑:维护用户信息。删除:删除系统用户。对 - [功能列表](https://support.huaweicloud.com/idms-dma/idms_34.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [数据源](https://support.huaweicloud.com/idms-dma/idms_36.md): 数据源主要包含两块:左侧树状导航展示数据源路径、右侧可进行新建数据源操作。单击“数据源”,展开列表,可看到该数据源下的所有表;右侧可以查看或编辑数据源配置信息,包含数据源连接串、用户名、密码、数据源名称、资源权限、责任人、数据源描述等;单击“新建数据源”,添加一个新的数据源,这条记录会同步显示在左侧树状导航中。 - [数据集](https://support.huaweicloud.com/idms-dma/idms_37.md): 数据集主要包含两块:左侧树状导航展示数据集路径、右侧可进行新建数据集操作。数据集可以直接从数据源在线导入,也可以离线导入本地文件。单击“数据集”,可看到该数据集详情和元数据信息。 - [数据探索](https://support.huaweicloud.com/idms-dma/idms_38.md): 数据探索通过关联加工数据集,进行数据建模。数据建模有界面开发和sql开发两种方式。界面开发:界面开发采用拖拽方式,把来自不同数据源的数据集进行关联。不用编写代码,就能轻松完成数据集的关联查询与分析。通过关联关系配置,实现不同的应用场景。可以对关联加工后的数据模型进行数据预览,结果导出。SQL开发:SQL开发针对IT人员,提供编写代码的方式 - [数据可视化](https://support.huaweicloud.com/idms-dma/idms_39.md): 数据可视化分为可视化图表和可视化看板两部分。可视化图表列表中展示所有的图表信息,可根据不同的搜索条件去查找图表。通过选择数据集,并对图表类型、时间范围、查询指标、过滤条件等项做好配置,得到可视化图表。同时,还能查看查询结果和数据样本。可视化看板列表中展示所有的看板信息,可根据不同的搜索条件去查找看板。刷新看板:可以手动刷新看板,使看板数据 - [系统管理](https://support.huaweicloud.com/idms-dma/idms_40.md): 系统管理包含租户管理和用户管理。以租户隔离数据,以用户隔离可视化看板。租户列表展示所有租户信息,可对租户信息进行查看、编辑、冻结、续租、删除等操作。新建租户:平台管理员有新建租户权限,在新建租户前要新建用户。可以指定一个用户为租户OWNER。用户列表展示所有用户信息,可对用户信息进行查看、编辑、冻结、删除等操作。新建用户,并给用户授权,赋 - [功能列表](https://support.huaweicloud.com/idms-dma/idms_41.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [附录 背景信息](https://support.huaweicloud.com/idms-dma/idms_42.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [A修订记录](https://support.huaweicloud.com/idms-dma/idms_43.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 中软国际数据治理专业服务解决方案实践 - [方案概述](https://support.huaweicloud.com/icssdgps-dma/icssdgps_01.md): 中软国际数据治理专业服务解决方案,旨在基于华为云计算底座,通过DataArts Studio等大数据相关产品,为企业提供数据治理服务。在数字政府行业,帮助政府建设数据专区,通过数据开发利用,实现数据分析决策。丰富的数据应用场景,让数据在应用中发挥作用,提升政府行政执法效率;激活政府数据资产,让数据在决策中呈现价值,帮助政府了解营商数据,更 - [资源和成本规划](https://support.huaweicloud.com/icssdgps-dma/icssdgps_02.md): 以某行业客户为例,客户的需求为构建全公司统一的数据平台,在数据平台中对数据进行治理,并支撑上层的数据应用。根据客户现有数据量,以及考虑到增量的数据集成方式、数据入湖入仓的膨胀系数、以及客户对平台性能的要求,设计了以下的资源与成本清单。实际收费应以账单为准:资源与成本清单 - [华为云数据治理平台](https://support.huaweicloud.com/icssdgps-dma/icssdgps_04.md): 数据治理总体架构数据治理中心 DataArtsStudio https://support.huaweicloud.com/dataartsstudio/index.html数据湖探索 DLI https://support.huaweicloud.com/dli/index.html数据仓库服务DWS https://sup - [数据治理专业服务](https://support.huaweicloud.com/icssdgps-dma/icssdgps_05.md): 企业现状调研了解客户的核心业务流程、需求、挑战和目标。分析客户的核心业务流程和组织结构,理解客户的业务模式。识别业务中的关键挑战和机会,为业务优化提供方向。明确业务目标和战略方向,为业务增长提供支持。采用访谈交流、现场观察、市场分析和竞争对手研究等多种方法进行业务调研。执行步骤如下:调查问卷。要求企业按调查问卷要求填写信息。高层访谈。对企 - [修订记录](https://support.huaweicloud.com/icssdgps-dma/icssdgps_06.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 永洪商业智能解决方案 - [方案概述](https://support.huaweicloud.com/yhbi-dma/yhbi_01.md): 在数字化时代,企业面临用户需求变化、业务流程变化、以及数据量不断增长等一系列挑战, 数字化转型已成为企业核心战略,是企业未来业务创新和增长的重要驱动力。在经历了人口 红利、城镇化红利和互联网红利后,数字化转型成为企业未来增长的唯一红利。商业智能BI让企业“一把手”快速认知数字化价值的最佳手段之一,在企业数字化建设中扮演了极其重要的角色。永 - [资源和成本规划](https://support.huaweicloud.com/yhbi-dma/yhbi_02.md): 永洪商业智能解决方案基于华为云部署的场景,根据客户需求,选择对应的永洪软件产品和规格,以及对应所需华为云资源清单如下表所示: - [实施步骤](https://support.huaweicloud.com/yhbi-dma/yhbi_03.md): 安装环境安装步骤远程登录弹性云服务区,按照下面步骤安装到云服务器的数据盘里。产品在license校验时会上报后台数据到永洪服务器,不会有其他任何形式的数据上报。后台数据格式如下:http://www.yonghongtech.com:8089/bi/validLicense?license=xxx&ip=xxx&mac=xxx,其中lic - [背景信息](https://support.huaweicloud.com/yhbi-dma/yhbi_05.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [安装时遇到的问题](https://support.huaweicloud.com/yhbi-dma/yhbi_07.md): 执行以下命令可查看所有Linux的版本信息正确输出信息如下:正确输出信息如下:执行以下命令可查看系统的Linux版本信息执行以下命令可查看JDK版本信息正确输出信息如下:如无法输出上图所示信息或报错,请确认操作系统是否安装Java或者Java环境变量配置是否正确。使用Open JDK的用户需要执行以下命令,检查开源字体是否安装。正确输出信 - [启动时遇到的问题](https://support.huaweicloud.com/yhbi-dma/yhbi_08.md): 具体失败的现象如下:Windows环境,到tomcat/bin目录下,双击startup.bat启动永洪,tomcat弹窗闪退。Linux环境,到tomcat/bin目录下,执行sh startup.sh启动永洪,启动后查不到进程。启动后查不到进程如上截图,启动后查不到进程,这类现象都属于启动失败,进程没启动起来,这类问题的原因和解决方案 - [修订记录](https://support.huaweicloud.com/yhbi-dma/yhbi_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 基于OBS配置大数据存算分离集群 - [方案概述](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_01.md): 该方案基于对象存储服务 OBS和MapReduce服务 MRS,帮助用户在华为云上快速搭建大数据存算分离集群。MRS是一个在华为云上部署和管理Hadoop系统的服务,通过为MRS集群绑定弹性云服务 ECS委托方式访问OBS,实现用户使用MRS集群作数据计算处理,而数据存储在OBS服务中。大数据在人们的生活中无处不在,在IoT、电子商务、金 - [资源和成本规划](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_02.md): 该解决方案主要部署如下资源,不同产品的花费仅供参考,实际以收费账单为准,具体请参考华为云官网价格: - [准备工作](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_04.md): 统一身份认证菜单如果委托存在,则不用执行接下来的创建委托的步骤如果委托不存在时执行接下来的步骤创建委托 - [快速部署](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_05.md): 本章节主要帮助用户快速部署该解决方案。 - [开始使用](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_06.md): 该示例帮助您创建MapReduce服务 ,在新建集群中配置现有委托实现存算分离,并开启Kerberos认证。MRS版本:3.2.0-LTS.1集群类型:分析集群有关MapReduce服务 MRS详细使用指导请参考MRS产品文档。区域:请根据需要选择。计费模式:选择“按需计费”。集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项 - [快速卸载](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_07.md): 快速卸载前请确认OBS桶中无文件,否则会导致删除失败。 - [附录](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_08.md): 基本概念、云服务简介、专有名词解释弹性云服务器 ECS:是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。虚拟私有云 VPC:为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络 - [修订记录](https://support.huaweicloud.com/bscdbdc-dma/bscdbdc_09.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 翼海云峰大数据服务解决方案 - [方案概述](https://support.huaweicloud.com/eseaskybds-dma/eseaskybds_01.md): 以互联网、零售、制造这三个行业为例,介绍客户的典型方案场景和痛点场景一 :互联网行业电商大数据迁移客户的痛点:在不同云厂商间迁移,需要迁移脚本和作业,通常在不同厂商云之间,脚本的语法上存在兼容性和性能、配置等问题。解决方案:提供专业的大数据迁移技术服务。提供不同厂商云之间的脚本语法映射表。提供不同厂商云的平台配置、和性能调优手册。场景二 - [资源和成本规划](https://support.huaweicloud.com/eseaskybds-dma/eseaskybds_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [实施步骤](https://support.huaweicloud.com/eseaskybds-dma/eseaskybds_03.md): 本方案包括八大模块,每大模块的每个功能模块都有其独立的实施步骤以大数据管理服务为例子,其实施步骤大体包含以下内容: - [修订记录](https://support.huaweicloud.com/eseaskybds-dma/eseaskybds_04.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 观远商业智能数据分析解决方案 - [方案概述](https://support.huaweicloud.com/guandataabi-dma/guandataabi_01.md): 场景1:零售消费场景机遇和挑战零售行业客户门店数量多,但前期管理较为粗放,在门店数量急剧增加的情况下,海量数据也沉淀较多,企业往往面临着以下挑战:如何挖掘海量数据价值,促进管理精细化:企业内部拥有多个信息化系统,随着企业高速发展,沉淀了海量数据。品牌希望有效地进行数据分析,挖掘数据价值,实现进一步精细化管理,降本增效;如何提升信息传递效率 - [资源和成本规划](https://support.huaweicloud.com/guandataabi-dma/guandataabi_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [用户管理功能](https://support.huaweicloud.com/guandataabi-dma/guandataabi_04.md): 观远用户有管理员、普通用户、只读用户三种角色,管理员可以对其他两种用户进行管理,普通用户可以对页面和数据集进行创建和修改,只读用户仅能读取对其开放的内容。 - [系统集成操作](https://support.huaweicloud.com/guandataabi-dma/guandataabi_05.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [数据中心](https://support.huaweicloud.com/guandataabi-dma/guandataabi_06.md): 数据中心智能ETL中选择要设置更新的ETL并点开,选择ETL更新,有三种选择:手动、定时、勾选的数据集更新后。选择定时,可以自定义ETL运行更新的时间;选择勾选的数据集更新后,可在数据集有所更新后直接触发ETL运行,最后单击确定,确认对ETL的更新方式进行更改。 - [仪表板](https://support.huaweicloud.com/guandataabi-dma/guandataabi_07.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [订阅与预警](https://support.huaweicloud.com/guandataabi-dma/guandataabi_08.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [运维管理](https://support.huaweicloud.com/guandataabi-dma/guandataabi_09.md): 右侧管理中心进入管理员设置,从左侧导航区找到任务管理页面。在搜索栏中,输入操作对象/用户进行任务搜索,同时可以通过根据任务类型和完成情况对任务进行筛选。通过时间范围可以选择任务所在的时间段。任务管理模块可以查看到当前域的任务完成情况并可以对造成异常的任务手动取消/停止。 - [修订记录](https://support.huaweicloud.com/guandataabi-dma/guandataabi_10.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 八六三智能数据平台解决方案 - [方案概述](https://support.huaweicloud.com/idp863-dma/idp863_01.md): 在全球技术进步、市场环境变化以及政策引导下,产业数字化转型是必然趋势,但企业在数字化转型过程中存在诸多挑战:数据整合与共享难题:在设备制造生产管控中,各部门之间往往存在数据壁垒,导致客户数据难以实现整合和共享。数据不透明与不一致:在设备制造过程中,由于数据分散在多个系统和部门中,客户往往面临数据不透明和不一致的问题。数据安全性与隐私保护: - [资源和成本规划](https://support.huaweicloud.com/idp863-dma/idp863_02.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [实施步骤](https://support.huaweicloud.com/idp863-dma/idp863_03.md): 数据源:数据源管理主要进行数据源连接配置&管理。连接池管理在连接池管理页面,可以新建、编辑、查询、查看数据源配置信息。新建数据源在连接池管理页面,单击“新建”,可以新建数据源配置信息,内容包含数据源名称、分类类型、用户名、密码、源类型、IP、端口、库名、数据源描述等。在连接池管理页面,可以新建、编辑、查询、查看数据源配置信息。新建数据源在 - [修订记录](https://support.huaweicloud.com/idp863-dma/idp863_04.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。