应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景，向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景：PB级的数据存储，批量数据分析，毫秒级的数据详单查询等

查看更多 →

可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。

查看更多 →

数据分析常见问题 数据源常见问题 管道作业常见问题 实时分析常见问题 时序分析常见问题 资产建模和分析常见问题

查看更多 →

大型企业的数据库往往需要应对TB级数据，有较强的数据存储需求。且大数据场景下，还需要满足业务在线数据实时写入数据库、大数据计算分析、分析结果反馈等实时查询、动态分析的需求。 优势： MapReduce：解决数据分析场景需求，用户可以自己写查询语句或脚本，将请求都分发到DDS上完成。

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：

查看更多 →

以基于大数据平台实现多样的增值业务。iMaster NCE-CampusInsight网络智能分析平台，是网络的智能分析引擎，为用户网络提供智能运维服务。iMaster NCE-CampusInsight将人工智能应用于运维领域：基于设备性能指标、终端日志等数据，通过大数据分析、

查看更多 →

华为云 MapReduce服务 （ MRS ）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行H

查看更多 →

企业在日常业务运维、审计或等保时，需要收集各种类型的日志，常遇到如下痛点： 企业部门多且日志繁杂，日志量大。 云服务资源种类数量多，不熟悉监控指标和运维日志，运维难度大。 安全合规要求高，等保合规要求日志长期存储，人力不足，维护成本高。 基于云日志服务LTS可以实现： 提供全场景日志接入，全面覆盖业务、应用、中间件和基础设施，实现快速收集日志。

查看更多 →

的资源发放。 轻开发 本方案全流程的高度可视化，没有复杂的代码编写过程，对技术人员的技术要求不高，可以大大降低大数据分析的门槛，只要懂数据库会SQL就能够进行大数据分析。 易运维 本方案为客户完全屏蔽了具体软件引擎的复杂度，让客户技术团队从传统的软件问题定位、处理、调优等运维工作

查看更多 →

数据源概述 数据源是数据分析的基础，首先要将数据源接入DataArts Insight后再进行数据分析。DataArts Insight提供了安全可靠的数据连接方式，为数据分析人员提供丰富多种的数据源接入方式，有效地提高数据分析人员的分析效率。当前DataArts Insight

查看更多 →

格，帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的E CS 上部署大数据集群，为客户测试开发提供更多的灵活选择。

查看更多 →

日志转储概述 主机和云服务的日志数据上报至云日志服务LTS后，LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准，详情请参考管理日志组和管理日志流。超出

查看更多 →

使用JDBC接口提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：

查看更多 →

应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran

查看更多 →

日志记录 访问日志记录简介 配置日志记录

查看更多 →

Z-Suite 一站式大数据分析平台，连续五年荣获敏捷BI领域第一名，中国BI大数据领域领军企业奖，10000+企业客户的共同选择。全面覆盖数据分析过程中的各个环节，包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等，让用户可以在一个统一的平台上完成全流程数据分析任务，极大降低

查看更多 →

时获取审计报表。 日志 支持查看数据库级别的错误日志，包括数据库主库和从库运行的错误信息，以及运行较慢的SQL查询语句，有助于分析系统中存在的问题。 慢日志用来记录执行时间超过当前慢日志阈值“long_query_time”（默认是1秒）的语句，通过慢日志的日志明细、统计分析情况，查找出执行效率低的语句，进行优化。

查看更多 →

云上主机安全：云上主机安全提供资产管理、漏洞管理等功能，帮助金融、游戏等行业降低主机安全风险。 物联网 基于物联网平台的自贩机销量分析：利用物联网平台和大数据分析技术，实现自贩机的设备管理和大数据分析。 数据库 openGauss数据库在金融领域的使用实践：使用openGauss构建金融场景下的数据库，掌握在金融场

查看更多 →

云桌面大数据场景解决方案 简介 为大数据业务部署在华为云上的企业，提供一站式云上数据分析办公环境。

查看更多 →

IoT数据分析服务系统权限 下表 为IoT数据分析服务的所有系统权限 表1 IoT数据分析服务系统权限 系统角色/策略名称 描述 类别 Tenant Administrator 拥有该权限的用户拥有除IAM外，其他所有服务的所有执行权限。 系统角色 Tenant Guest 拥有

查看更多 →