连接OBS 介绍 DIS可以向 对象存储服务 （Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。

查看更多 →

String bucketName ="obs_name"; ObsBuckets obsBuckets = new ObsBuckets(); obsBuckets.addObsBucketsItem(bucketName);

查看更多 →

如何使用pandas库处理OBS桶中的数据？ 参考下载OBS文件到Notebook中的指导，将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题： 数据存储

查看更多 →

工作流+函数：自动化处理OBS中数据 案例概述 准备 构建程序 处理图片

查看更多 →

录制至OBS模板中，流名称是否支持通配符？ 流名称支持配置为“*”，表示录制规则对该AppName下所有直播流生效，但不支持正则通配符，例如，不支持流名称配置为“live_0*”。 父主题： 直播录制

查看更多 →

本文档所述Demo在提供服务的过程中，可能会涉及个人数据的使用，建议您遵从国家的相关法律采取足够的措施，以确保用户的个人数据受到充分的保护。 本文档所述Demo仅用于功能演示，不允许客户直接进行商业使用。 本文档信息仅供参考，不构成任何要约或承诺。 本文档接口携带参数只是用作参考，

查看更多 →

Java SDK升级 为提高使用体验，推荐将SDK升级到最新版本。升级过程中需要进行修改的地方如下，具体可参考最新的Java应用程序开发的示例Demo进行修改。 从2.1.0.2.52升级至2.1.0.6.41 修改pom文件 修改合约发送、查询方法，详细参考下表。 表1 更新内容

查看更多 →

{ e.printStackTrace(); } } } 表1 参数说明 参数 参数说明 url API请求URL，例如本示例中https://{endpoint}/v2/{project_id}/image/tagging。 token Token是用户的访问令牌，

查看更多 →

java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在 DLI 管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖探索 用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。

查看更多 →

Overwrite).save(); 读取redis中数据 1 sqlContext.read().format("redis").options(map).load().show(); 操作结果 提交Spark作业 将写好的java代码文件上传至DLI中。 控制台操作请参考《 数据湖 探索用户指

查看更多 →

java样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库

查看更多 →

Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类： //创建一个配置类Sp

查看更多 →

Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息，将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples

查看更多 →

sqlList); 样例工程中的data文件需要放到HDFS上的home目录下 保证data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。 普通集群需要将样例代码中com.huawei.bigdata

查看更多 →

getJDBCMinorVersion() int Yes uppercaseAttributeName为true时，以下接口会将查询结果转为大写，可转换范围与java中的toUpperCase方法一致。 public ResultSet getProcedures(String catalog, String

查看更多 →

setFetchSize的同时，需要将连接设置为非自动提交模式，setAutoCommit(false)。同时在业务数据需要持久化到数据库中时，在连接上执行提交操作。 LargeUpdate相关方法必须在JDBC4.2及以上版本使用。 父主题： JDBC接口参考

查看更多 →

java.sql.PreparedStatement java.sql.PreparedStatement是预处理语句接口。 表1 对java.sql.PreparedStatement的支持情况 方法名 返回值类型 支持JDBC4 clearParameters() void Yes

查看更多 →

onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers

查看更多 →

Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String

查看更多 →

java.sql.PreparedStatement java.sql.PreparedStatement是预处理语句接口。 表1 对java.sql.PreparedStatement的支持情况 方法名 返回值类型 支持JDBC 4 clearParameters() void

查看更多 →

java.sql.DatabaseMetaData java.sql.DatabaseMetaData是数据库对象定义接口。 表1 对java.sql.DatabaseMetaData的支持情况 方法名 返回值类型 支持JDBC4 allProceduresAreCallable()

查看更多 →