更新时间:2024-04-17 GMT+08:00
分享

数据源管理简介

RES以数据为基础进行算法计算并完成推荐,您可以在RES管理控制台,数据源页面完成数据创建、数据修改等操作,为智能场景推荐和自定义场景推荐做好数据准备。

数据类型

当前RES支持创建数据源和导入近线数据。创建数据源的数据格式和近线数据导入的格式要求一致,包括用户数据、物品数据和行为数据。

  • 用户数据

    用户数据包括数据源中的“用户属性表”和用于近线计算的“用户画像”数据。用户数据记录用户的属性信息,例如地域、爱好等。

  • 物品数据

    物品数据包括数据源中的“物品属性表”和用于近线计算的“物品画像”数据。物品数据记录物品的属性信息,例如类别、长度等。

  • 行为数据

    行为数据包括数据源中的“用户操作行为表”和用于近线计算的“行为数据”。行为数据,每行记录用户的单次行为信息,包含用户标识符、行为对象标识符、行为类型和行为时间等信息。

注意事项

  • 每张表的表结构和填充的数据必须符合推荐系统的要求,列名和字段类型需要和规范保持一致。
  • 创建数据源之前您需要自己手工创建整理这些表并存储到OBS,推荐数据目前支持JSON格式。
  • 离线数据为初次对接RES的批量数据,供场景中的召回算法和排序算法进行计算。近线数据可实时更新、增加用户和物品表数据,同时实时行为数据,可作为后续近线召回计算,这些近线行为数据也会和离线行为数据进行汇总存储,供离线计算。

数据源管理流程及功能简介

表1 功能介绍

功能

说明

准备离线数据源

请您按照推荐系统要求的数据格式准备用户数据,物品数据,行为数据。

上传离线数据源至OBS

将准备的离线数据源上传至对象存储服务(OBS)用于推荐系统的离线计算。

创建离线数据源

在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。

上传实时数据

RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。

数据质量管理

数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。

修改或删除数据源

对您已经创建的数据源进行修改,对不需要的数据源进行删除。

相关文档