按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者ThriftServer两种方式访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。 spark-sql脚本

查看更多 →

方库，尤其是基于PySpark的融合机器学习相关的大数据分析程序。传统上，通常是直接基于pip把Python库安装到执行机器上，对于 DLI 这样的Serverless化服务用户无需也感知不到底层的计算资源，那如何来保证用户可以更好的运行他的程序呢？ DLI服务在其计算资源中已经内置

查看更多 →

使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索 数据湖探索 服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。 使用 CTS 审计DLI服务 通过 云审计 服务，您可以记录与D

查看更多 →

账号下的所有CTS追踪器未追踪指定的OBS桶，视为“不合规” mrs-cluster-kerberos-enabled MRS 集群开启kerberos认证 mrs MRS集群未开启kerberos认证，视为“不合规” mrs-cluster-no-public-ip MRS集群未绑定弹性公网IP mrs

查看更多 →

基本概念 AI引擎 可支持用户进行机器学习、深度学习、模型训练作业开发的框架，如Tensorflow、Spark MLlib、MXNet、PyTorch、华为自研AI框架MindSpore等。 数据集 某业务下具有相同数据格式的数据逻辑集合。 特征操作 特征操作主要是对数据集进行特征处理。

查看更多 →

CCE云容器引擎是否支持负载均衡？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ 更多 远程登录 应用容器化改造介绍

查看更多 →

Flume海量日志聚合 7% Loader 数据转换 5% Kafka分布式消息订阅系统 9% LDAP+Kerberos 安全认证 5% ElasticSearch分布式全文检索服务 5% Redis内存数据库 5% 华为大数据服务解决方案 4% 推荐在线学习 HCIA-Big Data

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： AI

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： 系统表

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： 系统表

查看更多 →

Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩

查看更多 →

Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩

查看更多 →

迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据

查看更多 →

Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩

查看更多 →

Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 注释： [1] MapReduce服务（MRS Spark）：数据架构和数据质量组件通过MRS

查看更多 →

。一旦请求出现错误，往往要在多台机器上反复翻看日志才能初步定位问题，对简单问题的排查也常常涉及多个团队。 架构梳理难 在业务逻辑变得逐渐复杂以后，很难从代码层面去梳理某个应用依赖了哪些下游服务（数据库、HTTP API、缓存），以及被哪些外部调用所依赖。业务逻辑的梳理、架构的治理

查看更多 →

全链路性能追踪：Web服务、缓存、数据库全栈跟踪，性能瓶颈轻松掌握。 故障智能诊断 业务痛点 海量业务下，出现百种指标监控、KPI数据、调用跟踪数据等丰富但无关联的应用运维数据，如何通过应用、服务、实例、主机和事务等多视角分析关联指标和告警数据，自动完成故障根因分析；如何基于历史数据学习与运维经验库，对异常事务智能分析给出可能原因。

查看更多 →

开发。而SparkSQL模块，支持CLI或者JD BCS erver两种方式访问。其中JDB CS erver的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚本和spark-sub

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

开发。而SparkSQL模块，支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚本和spark-sub

查看更多 →

按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。

查看更多 →