中软国际数据治理专业服务解决方案实践

提交数据分析请求 功能介绍 管理员在数据集详情页面数据分析分页，提交数据分析请求。 URI URI格式 PUT /softcomai/datalake/v1.0/datasStatistics 参数说明 无。 请求 请求样例 PUT https://console.ulanqab

查看更多 →

移除所选资产 在数据准备阶段进行字段操作：添加了数据资产后，如果资产的数据还要进行简单运算和处理形成新的一列，可以直接在分析仪中进行，而不需要专门配置数据交换机。数据分析仪中对资产的处理只是在分析仪内部生效，并不会对数据图书馆中的数据资产做变更。 图8 数据分析 字段操作说明：数据准备过程

查看更多 →

实时OLAP数据分析 实时OLAP场景介绍 离线数据加载：通过 CDM 将Hive外表数据迁移到Doris 离线数据加载：通过Doris Catalog读取Hive外表数据并写入Doris 离线数据加载：通过Doris Catalog读取RDS-MySQL数据并写入Doris 离线数

查看更多 →

网站数据分析场景 使用Superset从MySQL中获取数据进行分析 父主题： 搭建应用

查看更多 →

处理数据 在作业总览中平台支持创建数据标记，数据图表、数据回放、数据集等作业，数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时，数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中，选择“数据处理 > 数据处理”。

查看更多 →

大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

现，以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，需要考虑成本效益。云服务提

查看更多 →

车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求， DLI 服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB

查看更多 →

处理数据 入门流程 示例：图片质量变换

查看更多 →

该解决方案能帮助用户快速部署Smartbi平台，Smartbi是一站式BI大数据分析平台，可对接各种业务数据库、数据仓库和大数据分析平台，进行加工处理、分析挖掘和可视化展现；满足各种数据分析应用需求，如大数据分析、可视化分析、探索式分析、复杂报表、应用分享等等。 方案架构 该解决方案部署架构如下图所示：

查看更多 →

处理数据 处理模拟数据步骤如下。 用户进入DISDemo函数详情页，选择“dis-test”测试事件，单击“测试”，测试函数，如图1所示。 图1 配置测试事件 函数执行成功后，部分函数日志如图2所示，全部的日志信息，可以到“日志”页签查询。 图2 函数执行结果 父主题： 使用Fu

查看更多 →

例如您的员工中有负责统计数据的人员，您希望他们拥有IoT数据分析服务的查看权限，但是不希望他们拥有增删或者改动IoT数据分析服务资源等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用IoT数据分析服务的查看操作，控制他们对IoT数据分析服务资源的使用范围。

查看更多 →

全方位数据源接入：提供全方位的业务数据源接入能力，包括全部主流关系型数据库，国产数据库，各类大数据平台和多维数据库等。 快速安装部署：降低系统安装门槛，实现快速部署、快速应用、快速迭代，操作简单，系统自动处理数据。 一站式操作：提供可视化流程式数据治理能力、自助式分析模式，简单易操作

查看更多 →

数据分析常见问题 数据源常见问题 管道作业常见问题 实时分析常见问题 时序分析常见问题 资产建模和分析常见问题

查看更多 →

超强写入：相比于其他NoSQL服务，拥有超强写入性能。 大数据分析：结合Spark等工具，可以用于实时推荐等大数据场景。 金融行业 云数据库 GeminiDB结合Spark等大数据分析工具，可应用于金融行业的风控体系，构建反欺诈系统。 优势： 大数据分析：结合Spark等工具，可以进行实时的反欺诈检测。

查看更多 →

分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到 MRS 的流式集群中进行实时告警。 图3 梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。

查看更多 →

大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平

查看更多 →

大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。

查看更多 →

添加大数据资产 如果您的资产是自建大数据类型，请参照此章节将大数据实例添加到DSC服务。 如果您的资产为DLI数据库，请参照添加DLI数据库进行添加。 前提条件 已完成大数据资产委托授权，参考云资产委托授权/停止授权进行操作。 已获取自建ES、HBase以及Hive数据源的版本、

查看更多 →

华为云 MapReduce服务 （MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行H

查看更多 →