中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    dt大数据 更多内容
  • 创建Hive表

    建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对表进行查询时,综合性能表现比SequenceFile更优。

    来自:帮助中心

    查看更多 →

  • CREATE TABLE AS SELECT

    'cow', primaryKey = 'id') partitioned by (dt) as select 1 as id, 'a1' as name, 10 as price, 1000 as dt; 创建非分区表 create table h3 using hudi as select

    来自:帮助中心

    查看更多 →

  • 典型场景示例:搭建某商品销售数据的大屏

    回到屏A时,屏A单选下拉的参数保持不变,只显示筛选后的数据,如图9所示。如果不设置全局参数,从屏B跳转回到屏A时,屏A将显示所有数据。 步骤3:配置图表跳转参数 配置屏A全局参数: 单击“线状图>交互>跳转”进入图表跳转界面。 “需要绑定的字段”选择“product_type”。

    来自:帮助中心

    查看更多 →

  • Spark开源命令支持说明

    id; 仅支持查看当前数据库下表的列信息。 支持 支持 返回查询语句的元数据信息 DESCRIBE QUERY SELECT age, sum(age) FROM testDB.testTable1 GROUP BY age; 不支持 支持 返回插入数据的元数据信息 DESCRIBE

    来自:帮助中心

    查看更多 →

  • 恢复多版本备份数据

    恢复多版本备份数据 功能描述 在 DLI 数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。

    来自:帮助中心

    查看更多 →

  • Procedure

    DECLARE I_LOAD_DT ALIAS FOR $1 ; -- ETL Date V_TASK_ID ALIAS FOR $2 ; BEGIN RETURN I_LOAD_DT || ',' || V_TASK_ID;

    来自:帮助中心

    查看更多 →

  • 增量数据同步

    入口路径:控制台 > 数据开发 单击“数据开发”,进入数据开发的界面 新建Spark SQL脚本 图10 数据开发1 选择数据连接和数据库 图11 数据开发2 添加表头注释 设置脚本参数 开发增转全脚本 增转全规则:通过增量时间戳获取180天的增量数据,然后将增量数据和180天前的数据进行整合,存放在新生成的分区里。

    来自:帮助中心

    查看更多 →

  • 查看大单续订任务

    以查看与此订单相关的订单资源明细。 单击“操作”列的“处理”,可以处理单续订任务,具体操作请参见处理单续订任务。 单击“任务ID”,进入“营销任务-单续订任务/详情”页面,单击“处理”按钮,同样可以处理单续订任务。 其他操作 根据需要,选择不同的搜索条件,输入相应内容,查看特定的订单任务。

    来自:帮助中心

    查看更多 →

  • 通过界面升级大版本

    11版本和增强版,不支持版本升级。 由于操作系统限制,部分实例暂不支持进行版本升级,具体可升级版本查看界面可升级列表。 灾备实例不支持版本升级。 版本升级前,需要先进行升级检查,如果在有效期内没有检查成功的报告,则不允许进行版本升级。 升级插件限制说明 在版本升级检查成功后

    来自:帮助中心

    查看更多 →

  • 脆弱性大屏

    进入目标工作空间管理页面 在左侧导航栏选择“安全态势 > 安全屏”,进入安全屏页面。 图2 进入安全屏页面 单击脆弱性屏右下角的“播放”,进入脆弱性屏信息页面。 页面中各个模块的功能介绍、数据信息等详见下述内容。 脆弱性屏总览 展示脆弱性资产、漏洞、不合格基线、未防护资产的总数。

    来自:帮助中心

    查看更多 →

  • Spark开源命令支持说明

    id; 仅支持查看当前数据库下表的列信息。 支持 支持 返回查询语句的元数据信息 DESCRIBE QUERY SELECT age, sum(age) FROM testDB.testTable1 GROUP BY age; 不支持 支持 返回插入数据的元数据信息 DESCRIBE

    来自:帮助中心

    查看更多 →

  • 创建集群时配置LakeFormation数据连接

    体界面显示以实际为准。 元数据 选择“外置数据连接”,并配置以下参数: LakeFormation元数据:单击按钮开启。 LakeFormation连接实例:选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型:保持默认。 例如

    来自:帮助中心

    查看更多 →

  • 日期时间对象和Unix时间戳的相互转换

    日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {

    来自:帮助中心

    查看更多 →

  • 以$开头的对象名称迁移

    T1.Event_Dt>=ADD_MONTHS(CAST('${OUT_DATE}' AS DATE FORMAT 'YYYYMMDD')+1,(-1)*CAST(T7.Tm_Range_Month AS INTEGER)) AND T1.Event_Dt<=CAST('${OUT_DATE}'

    来自:帮助中心

    查看更多 →

  • 调整Hudi数据源性能

    调整Hudi数据源性能 本章节适用于 MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区。

    来自:帮助中心

    查看更多 →

  • SAP监控大屏配置应用监控成功但没有数据

    SAP监控屏配置应用监控成功但没有数据 如果出现屏配置应用监控成功但没有数据,您可以根据表1中列举的原因进行排除。 表1 故障排除 可能原因 排除方案 屏配置错误,或配置的应用已删除。 进入编辑模式,检查应用、应用SID、数据库应用、数据库应用SID配置是否符合规划,如有错误,修正并更新配置即可。

    来自:帮助中心

    查看更多 →

  • SAP监控大屏配置应用监控成功但没有数据

    SAP监控屏配置应用监控成功但没有数据 如果出现屏配置应用监控成功但没有数据,您可以根据表1中列举的原因进行排除。 表1 故障排除 可能原因 排除方案 屏配置错误,或配置的应用已删除。 进入编辑模式,检查应用、应用SID、数据库应用、数据库应用SID配置是否符合规划,如有错误,修正并更新配置即可。

    来自:帮助中心

    查看更多 →

  • 查看大单续订任务

    单击“任务ID”,查看单续订任务的详情信息,包含任务信息、订单信息、任务处理及处理记录。 单击“订单号”,进入订单资源明细页面,可以查看与此订单相关的订单资源明细。 单击“操作”列的“处理”,可以处理单续订任务,具体操作请参见处理单续订任务。 单击“任务ID”,进入“营销任务-单续订任

    来自:帮助中心

    查看更多 →

  • 什么是盘古大模型

    什么是盘古模型 盘古模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式模型开发与应用平台。平台提供了包括盘古模型在内的多种模型服务,支持模型的定制开发,并提供覆盖全生命周期的大模型工具链。

    来自:帮助中心

    查看更多 →

  • 如何使用IDEA远程调试

    JDK1.4.x对应的调试命令也跟着改变,比如Port设置为5006,对应调试命令会变更为-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5006,这个调试命令在启动Spark程序时要用到。 执行以下命令,远端启动Spark运行SparkPi。

    来自:帮助中心

    查看更多 →

  • 查看大单续订任务

    查看单续订任务 单续订任务是指通过自动化任务识别将到期的未续单,提前提醒伙伴客户经理跟进客户引导续订,帮助伙伴进行订单续订管理,提升客户留存、减少流失。 任务订单范围为自然月内将到期的实付金额≥5000元但还未完成续订的订单(金额续费率<60%),不包括偏一次性购买或客户续

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了