数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    spark 场景 更多内容
  • 场景描述

    场景描述 数据商业空间中公司B针对公司A的某些数据资产存在业务需求,由于安全性和数据主权的考虑,公司A与公司B基于 TICS 完成数据资产的交换。基于TI CS 进行数据资产交换,保证公司A的数据主权、公司B的数据可获得,同时保证交换过程安全可信。 以下是数据拥有方公司A和数据需求方公司B基于TICS平台的操作。

    来自:帮助中心

    查看更多 →

  • 场景示例

    场景示例 示例描述 用户需要将成本在部门A、B、C之间分配。其中,大部分成本可以通过用户标记在资源上的标签来标识归属的部门;另外,A部门还单独使用了 人脸识别服务 人脸识别 服务不支持标签管理),所有部门共用了云硬盘。 已知:用户已使用成本标签来标记成本,标签键:Group;标签值:部门A,部门B,部门C。

    来自:帮助中心

    查看更多 →

  • 服务场景

    服务场景 服务场景 场景简介与服务价值 数据孤岛严重,数据共享难 企业中各业务链条难打通,数据冗余现象严重,通过主 数据治理 解决方案,提升数据处理效率,减少人工操作;提升公司战略协同力,打通部门、系统壁垒,制定统一的数据规范和标准为驱动,规划构建出职责清晰、流程规范、模式合理的管理体系。

    来自:帮助中心

    查看更多 →

  • 场景介绍

    场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成

    来自:帮助中心

    查看更多 →

  • 场景介绍

    场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite Cluster上的训练方案。训练框架使用的是ModelLink。 本方案目前仅适用于企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。

    来自:帮助中心

    查看更多 →

  • 场景介绍

    场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。

    来自:帮助中心

    查看更多 →

  • 场景介绍

    场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程,利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案,帮助用户使能大模型业务。

    来自:帮助中心

    查看更多 →

  • 场景介绍

    场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程,利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案,帮助用户使能大模型业务。

    来自:帮助中心

    查看更多 →

  • Spark对接OBS

    export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置: export SPARK_DIST_CLASSPATH=$(hadoop

    来自:帮助中心

    查看更多 →

  • Spark SQL程序

    Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用

    来自:帮助中心

    查看更多 →

  • 开发Spark应用

    开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

    来自:帮助中心

    查看更多 →

  • Spark作业相类

    Spark作业相类 Spark作业开发类 Spark作业运维类

    来自:帮助中心

    查看更多 →

  • Spark故障排除

    JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下,普通用户无法登录Spark客户端 安装使用集群外客户端时,连接集群端口失败 Datasource

    来自:帮助中心

    查看更多 →

  • MRS Spark SQL

    MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1,表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

    来自:帮助中心

    查看更多 →

  • Spark Streaming

    Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str

    来自:帮助中心

    查看更多 →

  • 管理Spark作业

    管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。 表1

    来自:帮助中心

    查看更多 →

  • 使用Spark-submit提交Spark Jar作业

    对接的 DLI 服务的Region。 根据Spark应用程序的需要,修改“spark-defaults.conf”中的配置项,配置项兼容开源Spark配置项,参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录,执行spark-submit命令,并携带相关参数。

    来自:帮助中心

    查看更多 →

  • 场景说明

    云服务器备份提供两种配置方式,一次性备份和周期性备份。一次性备份是指用户手动创建的一次性备份任务。周期性备份是指用户通过创建备份策略并绑定服务器的方式创建的周期性备份任务。云服务器备份的两种配置方式对比如表1,可根据实际情况选择适合的配置方式。另外,用户也可以根据业务情况将两种方式混合使用。例如,根据服务器中存放数据的重要程度不同,可以将

    来自:帮助中心

    查看更多 →

  • 场景说明

    本文以边缘入侵检测算法的使用过程为例介绍如何使用园区智能体服务(CampusGo)。边缘入侵检测算法提供了区域入侵、过线入侵检测功能。通过分析接入的VCN视频数据,当检测到有人或车触发入侵,会上报告警。本示例中,接入的视频数据来自VCN,输出识别结果到Webhook。

    来自:帮助中心

    查看更多 →

  • 场景介绍

    场景介绍 使用智能排班基线应用中组件“shiftManagement”,定制开发页面。 父主题: 基于基线应用组件开发高级页面

    来自:帮助中心

    查看更多 →

  • 开发场景

    智能排班基线应用:基于智能排班模型BO,针对智能排班领域开发的一个完整应用,包含前台页面、后台逻辑等,是一个可直接部署使用的应用。 表1 开发场景 场景 章节 业务开发 定制开发指导(基于智能排班模型BO) 定制开发指导(基于智能排班基线应用) 应用集成 集成应用到ISDP+平台(可选)

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了