中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    大数据批处理和流处理 更多内容
  • 提交Bundle批处理作业

    提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下,用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的WorkflowCoordinator作业。 操作步骤 访问Hue

    来自:帮助中心

    查看更多 →

  • 查询批处理作业状态

    状态码 描述 200 查询成功。 400 请求错误。 500 内部 服务器 错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API

    来自:帮助中心

    查看更多 →

  • 创建批处理作业

    datasource.css resources 否 Array of Objects JSON对象列表,填写用户已上传到队列的类型为JSON的资源包名类型。具体请见表4。 groups 否 Array of Objects JSON对象列表,填写用户组类型资源,格式详见请求示例。如果“re

    来自:帮助中心

    查看更多 →

  • 取消批处理作业

    状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API

    来自:帮助中心

    查看更多 →

  • 提交Bundle批处理作业

    提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下,用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的WorkflowCoordinator作业。 操作步骤 访问Hue

    来自:帮助中心

    查看更多 →

  • 查询批处理作业详情

    状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API

    来自:帮助中心

    查看更多 →

  • 角色批处理(API名称:batchRole)

    角色批处理(API名称:batchRole) 功能介绍 通过此服务,批量添加、修改、删除角色(一次请求只能进行一种操作, 有错误数据直接跳过) 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token,再调用其他接口时,需要在请求消息头中添加“Authorization”,其值即为Token。

    来自:帮助中心

    查看更多 →

  • 查询批处理作业日志(废弃)

    查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码错误信息,更多介绍请参见错误码。 父主题: Spark批处理相关API(废弃)

    来自:帮助中心

    查看更多 →

  • Spark批处理相关API(废弃)

    Spark批处理相关API(废弃) 查询批处理作业日志(废弃) 父主题: 历史API

    来自:帮助中心

    查看更多 →

  • 开发批处理单任务SQL作业

    在参数名参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线下划线。

    来自:帮助中心

    查看更多 →

  • 查询批处理作业列表

    状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API

    来自:帮助中心

    查看更多 →

  • 发现和处理Redis大Key热Key

    向后端的数据库,导致数据库访问量激增甚至宕机,从而影响其他业务。 对于如何避免产生Key热Key,需要在业务设计阶段就考虑。参考Redis使用规范。 如何发现Key热Key 方法 说明 使用D CS 自带的Key热Key分析工具进行分析 请参考分析Redis实例Key和热Key。

    来自:帮助中心

    查看更多 →

  • 大屏数据处理应用模板

    具体操作请参见如何控制接口访问权限。 数据处理应用模板服务集成示例: 如何使用资产 以在屏Demo页面上进行配置为例。 订购并安装部署数据处理应用模板资产到对应的开发环境。 相关操作请参见如何订购&部署资产。 在开发环境首页,如图1所示,单击“项目”页签,单击“业务屏”。 图1 进入业务屏 如图

    来自:帮助中心

    查看更多 →

  • 修改消息时间戳类型、批处理消息最大值和描述信息

    修改消息时间戳类型、批处理消息最大值描述信息 本章节指导您在控制台修改消息时间戳类型、批处理消息最大值描述信息。 消息时间戳类型:定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 LogAppendTime:broker将消息写入日志的时间。 批处理消息最大

    来自:帮助中心

    查看更多 →

  • 处理数据

    处理数据 入门流程 示例:图片质量变换

    来自:帮助中心

    查看更多 →

  • 处理数据

    处理数据 处理模拟数据步骤如下。 用户进入DISDemo函数详情页,选择“dis-test”测试事件,单击“测试”,测试函数,如图1所示。 图1 配置测试事件 函数执行成功后,部分函数日志如图2所示,全部的日志信息,可以到“日志”页签查询。 图2 函数执行结果 父主题: 使用函数处理DIS数据

    来自:帮助中心

    查看更多 →

  • 处理数据

    Key:只能由英文、数字、特殊符号(,-_)组成,且需要以字母开头 。长度不超过64个字符。 Value:只能由英文、数字特殊符号(\/,.[]-_)组成 。长度不超过512个字符。 数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的名称。

    来自:帮助中心

    查看更多 →

  • 触发限流(流控)的原因和处理建议

    ,请参考分析Redis实例Key热Key减少key热key。 如果用户执行了keys等消耗资源的命令,也可能会导致CPU带宽使用率增加,从而出现控。 通过控制台对Redis实例进行带宽临时扩容,可临时解决业务流量高峰,带宽超限的问题。 父主题: 监控告警

    来自:帮助中心

    查看更多 →

  • 附录

    上云下多种数据源,提供丰富多样的2D、3D可视化组件,采用拖拽式自由布局,旨在帮助您快速定制应用属于您自己的数据屏。 函数工作 FunctionGraph:函数工作(FunctionGraph)是一项基于事件驱动的函数托管计算服务。通过函数工作,只需编写业务函数代码并设

    来自:帮助中心

    查看更多 →

  • 使用DIS触发器

    登录函数工作控制台,在左侧的导航栏选择“函数 > 函数列表”。 选择待配置的函数,单击进入函数详情页。 在“设置 > 权限”页签,修改函数委托,将委托修改为配置委托权限创建的serverless-trust委托。 单击“保存”,完成委托修改。 创建DIS触发器 返回函数工作控制台,在左侧的导航栏选择“函数

    来自:帮助中心

    查看更多 →

  • Flink WebUI应用简介

    创建集群连接 创建数据连接 通过数据连接,访问不同的数据服务,包括HDFS、Kafka等。 创建数据连接 创建表 通过数据表,定义源表、维表、输出表的基本属性字段信息。 创建表 创建SQL/JAR作业(流式/批作业) 定义Flink作业的API,包括Flink SQLFlink Jar作业。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了