将写好的python代码文件上传至 DLI 中。控制台操作请参考《 数据湖 探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

接入SFTP数据源 概述 ABM支持把SFTP作为一个数据源，并用于模型采集。在使用SFTP数据源前，您需要先接入数据源。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集

查看更多 →

接入本地文件数据源 概述 ABM支持把本地文件作为一个数据源，并用于模型采集。在使用本地文件类型数据源前，您需要先创建数据源。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集

查看更多 →

将接入数据导流至数据表中 监控服务已接入的数据，会保存在已创建或者系统自动创建的Kafka的Topic中，需要创建导流任务，将数据导流至ClickHouse或Influxdb数据表中。 将数据导流至ClickHouse/Influxdb表 进入AppStage运维中心。 在顶部导航栏选择服务。

查看更多 →

106 // DBtest.c (compile with: libodbc.so) // 本示例以用户名和密码保存在环境变量中为例，运行此示例前请先在本地环境中设置环境变量（环境变量名称请根据需求进行设置）EXAMPLE_USERNAME_ENV和EXAMPLE_PASSWORD_ENV。

查看更多 →

106 // DBtest.c (compile with: libodbc.so) // 本示例以用户名和密码保存在环境变量中为例，运行此示例前请先在本地环境中设置环境变量（环境变量名称请根据需求进行设置）EXAMPLE_USERNAME_ENV和EXAMPLE_PASSWORD_ENV。

查看更多 →

新建DLI数据连接 连接DLI前，需要满足以下条件： 已创建好DLI的数据库和资源队列。 新建DLI数据源连接 登录 DLV 管理控制台。 在“我的数据”页面，单击页面最上方的工作空间下拉列表并选择所需访问的工作空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“ 数据湖探索

查看更多 →

IAM策略。当湖内数据资源较多时，建议通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理。 统一添加授权策略 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation ”进入LakeFormation控制台。 在左侧下拉框中选

查看更多 →

database DDS的数据库名，如果在"url"中同时指定了数据库名，则"url"中的数据库名不生效。 collection DDS中的collection名，如果在"url"中同时指定了collection，则"url"中的collection不生效。 说明： 如果在DDS中已存在col

查看更多 →

接入APPCUBE数据源 概述 ABM支持把APPCUBE作为一个数据源，并用于模型采集。在使用APPCUBE数据源前，您需要先接入数据源。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM

查看更多 →

.在Edge侧添加的源端和目的端执行机凭证。 在MgC控制台，分别创建源端和目的端Delta统计任务并执行，方法请参考创建统计任务并执行校验。需要注意任务配置中的表组，选择步骤16.创建的表组。 任务类型请选择大数据组件中的“Delta”。 统计方式按实际需求选择，各统计方式说明请参见校验方式说明。

查看更多 →

进入CloudTable管理控制台。 CloudTable集群需要开启IAM统一身份认证。 （可选）开通数据接入资源DIS 在使用推荐系统之前，数据接入服务（Data Ingestion Service，简称DIS）采集用户实时日志，在计算引擎中消费实时日志并做近线处理。 登录华

查看更多 →

台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 数据源”，单击“创建数据源”，进入创建数据源页面。接着选择“FI Hive”类型的数据源，然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息，如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称

查看更多 →

接入SFTP数据源 概述 应用模型支持把SFTP作为一个数据源，并用于模型采集。在使用SFTP数据源前，您需要先接入数据源。 操作步骤 在开天集成工作台界面中，选择左侧导航栏中的“应用模型 > 实例管理”，单击实例“控制台”。 选择“模型采集 > 数据源”，单击“创建数据源”，进入

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果 MRS 集群开启了Kerberos认证，创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的依赖文件中，未开启Kerberos认证该步骤忽略。如图1所示：

查看更多 →

权益信息：能够让管理员登录到管理后台的第一个页面看到授权名额、账号期限、存储空间的使用情况 操作指南 操作路径 工作台：默认情况下进入管理端打开的第一个页面 图1 工作台 主要功能 快捷入口：单击入口名称快速跳转至目标位置，单击右上角编辑按钮进行自定义入口的选择及排序，最多可展示8个

查看更多 →

工作台 前提条件 已成功从角色桌面进入SIM Space平台，且拥有以下权限之一： 系统预置角色：仿真工程师。 自定义角色：同时拥有“任务”、“数据”和“应用”三个菜单的操作权限。 操作步骤 在左侧导航栏中，选择“工作台”，进入“工作台”页面。 在工作台页面，可单击各项功能入口进入对应的功能。

查看更多 →

数据处理可以处理哪些数据源中的数据？ 目前仅支持读写OBS桶中的数据。如果读写租户OBS中数据，可以使用ModelArts提供的MoXing的API能力，实现读写OBS中的数据。 父主题： 数据处理

查看更多 →

2、在物联网平台配置数据转发规则实现将设备上报的数据转发到kafka中。 3、数据上报及验证数据是否转发成功。 4、配置DWS数据仓库服务。 5、配置DLI数据湖探索服务实现将kafka中的数据进行清洗并转发至DWS。 6、配置Astro大屏服务，从数据仓库服务DWS中获取数据并进行展示。

查看更多 →

例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 数据源”，单击“创建数据源”，进入创建数据源页面。接着选择“MRS Hive”类型的数据源，然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息，如下表所示。 表1 数据源连接信息 参数 配置说明

查看更多 →