数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    华为云金融数据湖 更多内容
  • 基于NL2JSON助力金融精细化运营

    基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中,客户日常业务依赖大量报表数据来支持精细化运营,但手工定制开发往往耗费大量人力。因此,希望借助大模型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输

    来自:帮助中心

    查看更多 →

  • 适用于金融行业的合规实践

    适用于金融行业的合规实践 该示例模板中对应的合规规则的说明如下表所示: 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 access-keys-rotated IAM用户的AccessKey在指定时间内轮换 iam IAM用户的访问密钥未在指定天数内轮转,视为“不合规”

    来自:帮助中心

    查看更多 →

  • 华为云大数据上云与实施服务优势?

    华为云大数据上云与实施服务优势? 高效的迁移工具保障客户业务连续性: 云数据迁移 CDM服务支持,围绕大数据迁移上云和智能 数据湖 解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力。数据迁移工具实现Hive、HBase、HDFS(全量、增量数据)迁移到 MRS DLI ,数据

    来自:帮助中心

    查看更多 →

  • 权限管理概述

    DLI使用IAM进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DLI的使用权限,但是不

    来自:帮助中心

    查看更多 →

  • 入门指引

    方面做了增强和提升,满足企业级和金融级业务要求。支持包周期和按需,版本规格多样化,支持商用。详细请参见版本规格说明。 华为云 区块链 引擎:以 BCS 自主研发区块链内核为底座,结合可信硬件,具有高安全、高性能、高可扩展、强隐私保护等特点,满足企业级和金融级的可信和协同要求。支持专业版、

    来自:帮助中心

    查看更多 →

  • MRS最佳实践汇总

    StarRocks,新一代极速全场景 数据仓库 Hudi:新一代流式数据湖平台 高性能利器-MRS ClickHouse重磅推出 基于MRS-ClickHouse构建用户画像系统方案介绍 基于MRS-Hudi构建数据湖的典型应用场景介绍 大数据分析实践 实时数据湖表存储设计方法(基于Hudi表) 如何基于MRS-Hudi实现拉链表

    来自:帮助中心

    查看更多 →

  • 数据安全概述

    数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和 数据治理 的诉求。 图1 DataArts Studio 数据安全框架 资源主体:即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS

    来自:帮助中心

    查看更多 →

  • 权限管理

    Administrator 租户管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。 作用范围:项目级服务。 系统角色 无 DLI Service Administrator 数据湖探索管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。

    来自:帮助中心

    查看更多 →

  • 准备工作

    务。 CDM 围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率,可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。 停止集群业务及相关服务

    来自:帮助中心

    查看更多 →

  • 合规规则包示例模板

    适用于 MapReduce服务 (MRS)的最佳实践 NIST审计标准最佳实践 新加坡金融行业的最佳实践 安全身份和合规性运营最佳实践 华为云安全配置基线指南的标准合规包(level 1) 华为云安全配置基线指南的标准合规包(level 2) 静态数据加密最佳实践 数据传输加密最佳实践

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    资源和成本规划 该解决方案主要部署如下资源,不同产品的花费仅供参考,实际以收费账单为准,具体请参考华为云官网价格: 表1 资源和成本规划 华为云服务 配置示例 每月预估花费 数据治理中心 DataArts Studio 区域:华北-北京四 计费模式:包年包月 版本:初级版 规格:cdm

    来自:帮助中心

    查看更多 →

  • 方案概述

    部署该解决方案之前,您需 注册华为账号 并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态。 第一次使用数据湖数据湖 DLI时需要登录DLI控制台,如果使用IAM子账户部署该解决方案,请参考部署指南确保该账号已经有DLI的相关授权,第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

    来自:帮助中心

    查看更多 →

  • 搬迁本地数据至OBS

    CDM方式示例:金融大数据咨询业务数据迁移 使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 详细操作请参见金融大数据咨询业务数据迁移。

    来自:帮助中心

    查看更多 →

  • 接入数据治理中心数据源

    方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写DataArts Studio云服务的域名地址。

    来自:帮助中心

    查看更多 →

  • 接入IOT数据源

    方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写IOT数据分析云服务的域名地址。 项目ID

    来自:帮助中心

    查看更多 →

  • 接入COMPOSE数据源

    方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写COMPOSE服务的域名地址。 项目ID

    来自:帮助中心

    查看更多 →

  • 产品概述

    产品概述 华为云区块链引擎服务(HuaweiCloud Blockchain Service,简称HBS)是华为自主研发的满足企业级和金融级的可信、协调要求的高性能、高安全的区块链技术服务平台,可以帮助企业和开发人员轻松搭建、管理区块链应用。 当前仅“华北-北京四”区域支持华为云区块链引擎服务。

    来自:帮助中心

    查看更多 →

  • 管理员操作

    Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务(即两个集群),且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    该解决方案主要部署如下资源,每月花费如表1 资源和成本规划所示,具体请参考华为云官网价格详情,实际收费以账单为准: 表1 资源和成本规划 华为云服务 规格条件 费用 对象存储服务 OBS 用户月成本明细,采用OBS标准单AZ存储 1G。 0.14元/月 数据湖探索 DLI 使用弹性资源池,最低规格64CU,每天创建并使用2小时,用完即删。

    来自:帮助中心

    查看更多 →

  • IoTDA结合DLI+DWS+Astro实现大数据分析

    在物联网解决方案中,设备产生庞大的数据,使用传统的Mysql数据库已经无法达到要求,为了降低存储成本,提高数据查询效率,华为云物联网平台可以通过规则引擎,将数据转发到华为云其他云服务,例如可以将海量数据经过数据湖探索服务(DLI)进行数据清洗,再由云数据仓库(DWS)进行存储,再由Astro大屏应用读取数

    来自:帮助中心

    查看更多 →

  • 接入APIC数据源

    方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写APIC服务的域名地址。 项目ID

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了