中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    大数据之如何采集数据 更多内容
  • 大屏所展现的数据如何获取到本地?

    屏所展现的数据如何获取到本地? 可通过对接开放API或屏所提供的报告导出功能获取相关数据。对接API的具体方法可参见最佳实践中的如何调用API。 父主题: 其他使用相关

    来自:帮助中心

    查看更多 →

  • 创建采集数据库中的数据任务

    创建采集数据库中的数据任务 您可以通过创建采集任务,采集schema、数据集、数据集字段等技术元数据采集任务创建后,您可以查看和管理采集任务,包括任务的启动、执行、编辑配置信息等。 前提条件 已创建与企业数据库的连接。 需拥有数据管家角色,角色权限请参考DMAP数小二用户角色与权限说明。

    来自:帮助中心

    查看更多 →

  • 更新采集任务(数据节点)

    path 否 String 采集路径。 databaseType 否 String 数据采集使用数据类型。 databaseVersion 否 String 数据采集使用数据库版本。 kafkaTopic 否 String kafka topic(需要采集的主题)。 localHost

    来自:帮助中心

    查看更多 →

  • 采集任务发布数据集

    采集任务发布数据集 功能介绍 采集任务一键发布数据集。 URI URI格式 POST /softcomai/datalake/collection/v1.0/task/publish 参数说明 无。 请求 请求样例 https://ip:port//softcomai/datalake/collection/v1

    来自:帮助中心

    查看更多 →

  • 采集多渠道日志数据到LTS

    统一管理日志。 采集用户推广日志 采集服务端数据 采集终端用户日志 采集Web/移动端页面用户行为日志 采集 服务器 日志 采集不同网络环境下的日志数据 统一管理日志 在 云日志服务LTS 控制台创建日志组,详细操作请参考管理日志组。 在云日志服务LTS控制台为不同数据源产生的日志创建日志流,详细操作请参考管理日志流,例如:

    来自:帮助中心

    查看更多 →

  • 模型采集支持采集的数据源类型有哪些?

    模型采集支持采集数据源类型有哪些? 当前新版模型采集支持采集数据源类型有:DAMENG、GAUSSDB、DORIS、MYSQL、OpenGauss、ORACLE、POSTGRESQL、SQL Server、DWS、FI Hive、Hive、OCEANBASE、SFTP,用于模型采集。

    来自:帮助中心

    查看更多 →

  • 查询采集任务状态(数据准备)

    查询采集任务状态(数据准备) 功能介绍 查询采集任务状态。 URI URI格式 GET /softcomai/datalake/collection/v1.0/taskConsole/statusList 参数说明 无。 请求 请求样例 https://localhost:por

    来自:帮助中心

    查看更多 →

  • 获取指定指标相关采集数据

    获取指定指标相关采集数据 功能介绍 该接口用于获取指定指标相关采集数据。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/clusters/{cluster_id}/dms/metrics/{metric_name} 表1 路径参数 参数 是否必选

    来自:帮助中心

    查看更多 →

  • 配置元数据采集任务

    户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”:采集任务仅更新数据目录已经采集到的元数据 勾选“仅添加新元数据”:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据 勾选“更新数据目录中的元数据、添加新元数据”:采集任务全量同步数据源中的元数据 勾选“

    来自:帮助中心

    查看更多 →

  • 元数据采集任务接口

    数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题: 数据目录API

    来自:帮助中心

    查看更多 →

  • 快速搭建数据大屏

    示。 图11 屏效果 单击右上角右“保存”,输入屏的名称,单击“确定”,屏保存成功。 步骤5:管理屏 切换屏发布状态 在控制台右侧“我的项目”单击项目名称,进入项目页面。 单击“数据分析 > 屏”,进入屏页面。 单击屏名称,进入屏编辑页面。 发布屏:单击页面右上角“保存并发布”,大屏发布成功。

    来自:帮助中心

    查看更多 →

  • 如何查看采集失败原因?

    如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集

    来自:帮助中心

    查看更多 →

  • 如何导出监控数据?

    如何导出监控数据 云监控服务 支持导出监控数据,具体操作步骤如下: 用户在云监控服务页面选择“云服务监控”或“主机监控”。 单击“导出监控数据”。 根据界面提示选择“时间区间”、“周期”、“资源类型”、“维度”、“监控对象”、“监控指标”。 单击 “导出”。 一次可选择多个监控指标导出。导出文件格式为“csv”。

    来自:帮助中心

    查看更多 →

  • 如何配置数据接入

    投影的名称,单击参数值后系统可根据“标签”取值自动生成。 字段选择器 左侧为外部数据源传入的全部元数据,勾选所需数据字段,单击,将所选数据移到右侧输出字段中。 赋值 数据赋值器,可将缓存中的对象数据、传入的外部数据数据、某个常量数据或者数据取表达式值赋值给某参数。 图8 赋值器配置 表6 赋值器配置参数说明表

    来自:帮助中心

    查看更多 →

  • 使用数据工程构建NLP大模型数据集

    使用数据工程构建NLP模型数据集 NLP模型支持接入的数据集类型 盘古NLP模型仅支持接入文本类数据集,该数据集格式要求请参见文本类数据集格式要求。 构建NLP模型所需数据量 使用数据工程构建盘古NLP模型数据集进行模型训练时,所需数据量见表1。 表1 构建NLP模型所需数据量

    来自:帮助中心

    查看更多 →

  • 采集对源数据库的影响

    -> 2.54% 0.1% -> 10.2% 提高5% 实验室测试数据,具体影响依据实际情况而定。 TPC-H是数据库业界广泛接受和使用的基准测试,由一套面向业务的临时查询和并发数据修改组成。查询和填充数据库的数据具有广泛的行业相关性。 父主题: 评估项目

    来自:帮助中心

    查看更多 →

  • 创建元数据采集任务

    在左侧导航树中,单击,选择“安全与合规 > 数据安全中心”。 在左侧导航树中选择“资产管理 > 元数据任务”,进入“元数据采集任务”页面。 在“元数据采集任务”页面,单击“新建”,进入“新建采集任务 > 数据源配置”页面,具体参数说明如表 数据源配置参数说明所示。 表1 数据源配置参数说明 参数名 参数说明

    来自:帮助中心

    查看更多 →

  • 运行元数据采集任务

    已完成:已完成元数据采集任务。 运行中:正在运行元数据采集任务。 运行失败:元数据采集任务运行失败。 调度中:元数据采集任务已添加成功,待运行。 部分完成:已完成部分元数据采集任务。 运行时长 任务开始运行到结束运行用的时间 相关操作 您还可以在任务的操作栏对当前元数据采集任务进行“编辑”或“删除”操作。

    来自:帮助中心

    查看更多 →

  • 如何导入导出数据

    图4 下载对象数据模板 解压“zip”包,使用excel批量编辑好数据,如图5。 图5 excel创建数据 将编辑好的数据重新打包成“zip”包,重新导入数据,具体步骤请参见如何导入数据。 查看导入成功后的结果,请参见如何使用控制台查询数据。 图6 批量导入成功的数据 如何通过模板进行数据导入

    来自:帮助中心

    查看更多 →

  • 如何管理数据接入

    如何创建数据接入 当需要从外部数据源获取数据时,需要对数据进行一系列处理后,才能转化成内部事件,输出给Kafka或ROMA Connect。在AstroZero中,通过配置数据接入功能可实现上述整个流程。如何新建数据接入,请参见如何创建数据接入。 如何管理数据接入 参考登录管理

    来自:帮助中心

    查看更多 →

  • 如何导出审批数据?

    如何导出审批数据? 审批包含请假、加班、出差、补卡、外出公干、外来接待、用车申请等工作流,同时支持企业创建应用。 管理员可在管理后台 单击”应用 ”> ”应用管理”>”审批”>”进入后台”>”数据导出”,导出审批数据。 父主题: 应用

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了