从单个函数到企业级项目的软件开发实践平台，帮助老师更方便的开展授课、演示及软件实践教学，并为老师更全面的了解学生软件开发能力短板提供智能数据分析支持。 Classroom教学平台结合DevCloud践行产教融合新模式，搭建业界领先的“教-学-练-赛-考-评-证”一体化赋能体系。

查看更多 →

冷热分离概述 海量大数据场景下，随着业务和数据量的不断增长，数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求，对膨胀的数据本身进行“冷热”分级管理，不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中，冷热数据面临着不同的查询频次

查看更多 →

ark离线大规模分布式数据存储和计算，进行海量数据分析与查询。 本实践基于华为云 MapReduce服务 ，用于指导您创建 MRS 集群后，使用Hive对OBS中存储的原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的存算分离大数据分析。 本实践中，雇员信息的原始数据包含以下两张表：

查看更多 →

见极速文件存储卷。 对象存储卷（OBS） 云容器实例支持将OBS创建的对象存储卷挂载到容器的某一路径下。OBS是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情见对象存储卷。 PersistentVolumeClaim（PVC） 云容器实例使用

查看更多 →

Flink、Trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 适用于需要对海量日志内容进行分析，大数据处理的场景，例如游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策等场景。 父主题： 日志转储

查看更多 →

和存储系统。 推荐使用高性能计算型 弹性云服务器 ，主要使用在受计算限制的高性能处理器的应用程序上，适合要求提供海量并行计算资源、高性能的基础设施服务，需要达到高性能计算和海量存储，对渲染的效率有一定保障的场景。 更多信息，请参见高性能计算型。 更多弹性 云服务器 的应用示例，请参见最佳实践- 自助建站 汇总。

查看更多 →

Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS

查看更多 →

ABI一站式数据分析平台 安装环境 导出截图功能要求 TOMCAT中部署ABI Weblogic中部署ABI Websphere中部署ABI 金蝶AAS V9.0中部署ABI 中创InforSuite V10中部署ABI Tongweb V6.1中部署ABI 华宇tas2.8.5中部署ABI

查看更多 →

第三方应用实时呈现数据分析结果 场景说明 IoTA当前提供标准API对外开放数据，包括设备原始数据，资产快照和历史数据，第三方应用通过API实时获取SMT产线的各项分析结果，包括设备OEE，设备状态、设备关键属性、数据异常告警，设备属性历史数据等进行实时呈现。 IoTA对外开放API列表请参考IoTA

查看更多 →

IoTDA结合 DLI +DWS+Astro实现大数据分析 概述 在物联网解决方案中，设备产生庞大的数据，使用传统的Mysql数据库已经无法达到要求，为了降低存储成本，提高数据查询效率，华为云物联网平台可以通过规则引擎，将数据转发到华为云其他云服务，例如可以将海量数据经过 数据湖探索 服务（DLI）进

查看更多 →

态活检等主流生物基因测序场景。 基因容器服务对GATK 4.0官方所推荐的最佳实践流程进行封装，让您能快速基于GATK最佳实践流程完成原数据分析。该流程为Broad Institute官方推荐流程，用于全基因组测序比对、去重、碱基校正以及突变检测，关于该流程的详细描述请参见Broad

查看更多 →

集群类型 根据业务需要选择合适的MRS集群类型。 分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群：用于流式数据处理任务，对实时数据源进行快速分析，

查看更多 →

性数据源，提供应用资源统一管理、一站式可观测性分析和自动化运维方案，帮助用户及时发现故障，全面掌握应用、资源及业务的实时运行状况，提升企业海量运维的自动化能力和效率。 图1 AOM产品结构图 托管&运行态 AOM可无缝对接多个上层运维服务，支持快速从应用管理与运维平台（Servi

查看更多 →

业务场景，包括媒体处理、内容管理、大数据分析和分析工作负载程序等。SFS容量型文件系统不适合海量小文件业务，推荐使用SFS Turbo文件系统。 SFS为用户提供一个完全托管的共享文件存储，能够弹性伸缩至PB规模，具备高可用性和持久性，为海量数据、高带宽型应用提供有力支持。 符合

查看更多 →

MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM 支持文件到文件类数据的迁移，本章节以MRS HDFS至OBS为例，介绍如何通过CDM将文件类数据迁移到OBS文件系统中。

查看更多 →

的云原生服务，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 GaussDB (DWS)提供了简单易用的Web管理控制台，帮助您快速创建 数据仓库 集群，轻松执行数据仓库管理任务。

查看更多 →

。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采用Yarn管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算及进行海量数据分析与查询的能力。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。

查看更多 →

管理能力，实现企业数据同源、一致，以及基于数据分析结果进行企业的流程优化和经营改善。 通过EI引擎，围绕人工智能，借助大数据分析、工业AI模型、算法模型和平台，构建行业知识库，赋能工业企业实现智能管理。引入工业AI开发和运营平台，通过海量的模型训练，提升算法模型的准确性和标准度，

查看更多 →

使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台，全面覆盖数据分析过程中的各个环节，轻松完成全流程数据分析任务，包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等，极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop

查看更多 →

reduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。 通过HQL完成海量结构化数据分析。 灵活的数据存储格式，支持JSON、 CS V、TEXTFILE、RC

查看更多 →

用智能、安全与隐私保护等方面的基本需求。 数据分析 物联网数据分析基于物联网资产模型，整合物联网数据集成，清洗，存储，分析，可视化，为开发者提供一站式服务，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现，详情请参考物联网数据分析。 全球SIM联接 可实现设备在全球范围，通

查看更多 →