大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式 数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

展示用户Flink作业的数据输入速率，供监控和调试使用 ≥ record/s 实时处理集成作业 1分钟 作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用 ≥ record/s 实时处理集成作业 1分钟 作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用 ≥ records

查看更多 →

数据质量是用户在进行离线计算之前使用原始初始格式数据或者通用格式数据检测输入数据是否合法。 数据质量 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成，一般作为某些算法的前置输入条件。 特征工程 召回策略 召回策略用于生成推荐的候选集，在原始数据中通过算法和规则匹配用户的候选集。

查看更多 →

设备异常离线 设备离线后不能再上线 父主题： 常见故障处理

查看更多 →

max.commits = hoodie.keep.min.commits + 20 执行compaction后再执行clean和archive，由于clean和archivelog对资源要求较小，为避免资源浪费，使用DataArts调度的话可以compaction作为一个任务，cle

查看更多 →

物联网平台在通过encode接口下发命令时，把物联网平台分配的mid放入码流，和命令一起下发给设备；设备在上报命令执行结果（deviceRsp）时，再将此mid返回给物联网平台。否则物联网平台无法将下发命令和命令执行结果（deviceRsp）进行关联，也就无法根据命令执行结果（dev

查看更多 →

下载离线文件 操作场景 您可以在应用运行态下载离线文件。 前提条件 已登录应用运行态。 操作步骤 在左侧导航栏中，单击“应用中心 > 应用同步”，进入应用同步页面。 找到需要下载离线文件的同步任务，单击，即可将离线文件下载至本地。 图1 下载离线文件 相关操作 下载离线文件后，您

查看更多 →

如何处理界面“ICAgent状态”为“离线”的问题 ICAgent安装完成后，界面“ICAgent状态”为“离线”。 图1 界面“ICAgent状态”为“离线” 问题分析 原因：AK/SK配置不正确或30200、30201端口未连通。 影响：ICAgent无法正常使用。 解决办法

查看更多 →

伸缩，极致性价比，采用多逻辑集群（Virtual Warehouse，以下简称VW）共享存储技术，实现不同负载的计算隔离和并发扩展，适用于OLAP分析场景。 GaussDB (DWS)数仓之间暂不支持互相访问，用户可通过创建的OBS外表，将两个数据库关联在同一个数据目录下进行数据查询。

查看更多 →

数据仓库规格 GaussDB(DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体

查看更多 →

作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务 MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务 DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业

查看更多 →

删除离线作业 删除离线作业即清理离线作业产生的数据，数据清理完成后删除元数据。操作必须确保流程中没有使用该作业产生的UUID，可以参考以下操作完成。 删除离线作业 您可以对“计算成功”、“计算失败”等状态的作业进行删除，“启动中”、“计算中”状态的作业不支持删除操作。 登录RES

查看更多 →

管理离线作业 您可以对各离线作业进行“复制”、“编辑”、“终止”、“重新执行”、“删除”等操作。您也可以通过查看服务的详细信息判读作业训练状态和查询训练结果。 复制离线作业 用户可以通过复制组合作业再次创建新的作业进行离线计算。生成的数据和原来的作业生成的数据相互独立，复制的离线作业会生成新的线上指定的UUID。

查看更多 →

监控离线消息 前提条件 当前租户下的存在可用的WhatsApp、5G消息、Web、邮件、短信、Instagram、Telegram渠道。 操作步骤 以座席角色登录AICC，选择“监控 > 离线消息”。 查看渠道的离线用户和离线消息数量、趋势。 租户管理员默认有离线消息监控的菜单权

查看更多 →

数据模型模块包含“数据实体”和“关系实体”。 为减少关联数据报错，建议同步顺序为“基础数据 > 生命周期 > 数据模型”。 说明： 同一个同步模块只能创建一个未启动的离线同步任务。 同步内容方式 支持选择“全量”和“自定义”。 如果选择了“自定义”，创建离线同步任务后，还需在“同步内容”页签中添加相关待同步的内容。

查看更多 →

导入离线文件 操作场景 当您已获取到应用同步任务对应的离线文件后，您可以在应用运行态通过导入离线文件的方式，同步应用数据。 前提条件 已登录应用运行态。 操作步骤 在页面右上方，切换至目标租户。 图1 切换租户 在左侧导航栏中，单击“应用中心 > 应用同步”，进入应用同步页面。 单击“离线文件导入”。

查看更多 →

离线日志下载 离线日志记录了所有播放 域名 被网络用户访问的详细日志，您可以通过下载指定时段的日志，对您的业务资源被访问情况进行详细分析。 日志中记录的数据仅供数据分析和参考使用，计费数据请以账单为准。 注意事项 此功能暂不支持“华北-北京一”区域使用。 下载说明 支持下载最近90天的日志。

查看更多 →

离线作业概述 离线处理集成作业作为数据开发的一个作业类型，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。 相比于传统的依靠 CDM 集群进行生命周期管理CDM迁移作业，离线处理集成作业依靠数据开发组件的生命周期管理，由数据开发进行集成作业的统一调度和CDM集群资源的统一支配，作业运行可靠性更高、使用体验更佳。

查看更多 →

max.commits = hoodie.keep.min.commits + 20 执行compaction后再执行clean和archive，由于clean和archivelog对资源要求较小，为避免资源浪费，使用DataArts调度的话可以compaction作为一个任务，cle

查看更多 →

如何处理界面“ICAgent状态”为“离线”的问题? ICAgent安装完成后，界面“ICAgent状态”为“离线”。 问题分析 原因：AK/SK配置不正确或30200、30201端口未连通。 影响：ICAgent无法正常使用。 解决方法 以root用户登录安装ICAgent的 服务器 。

查看更多 →

ir 各服务安装目录 数据工厂所在服务器需添加实时处理服务器IP和主机名映射，例： 172.21.200.26 Kylin 实时处理服务器也应添加数据工厂所在服务器主机名映射。例： 172.17.3.237 edi 父主题： 实时处理服务部署

查看更多 →