开发任务

前提条件

已启用Notebook并且已创建出Notebook实例。创建Notebook实例的操作请参见创建Notebook实例。

约束限制

• 目前仅支持DLI数据源。

开发Notebook

1. 在数据开发主界面的左侧导航栏，选择“数据开发 > Notebook”。
2. 单击“打开”按钮进入Notebook的开发界面。
3. 单击，选择Notebook，新建Notebook文件，新增.ipynb格式的文件，实现新建Notebook。下一步开发Notebook。

   

4. 进入Notebook开发界面后，输入开发代码并进行调试。
   说明：

   • 支持保存、下方插入、剪切、复制、粘贴、运行、中断等操作。
   • Notebook支持对某行代码运行调试运行。单击代码行前面的，可以运行该行代码。
   • 支持Code、Markdown、Raw三种格式的代码展示风格。
   • 支持对代码行进行下方插入、上移、下移、删除等操作。

5. 单击运行按钮，运行代码。
6. 查看代码运行结果。

开发launcher

1. 单击，选择Launcher，进入Launcher开发界面。目前仅支持DLI、Python两种任务开发。
   

   • 开发DLI任务。
     说明：

     开发DLI任务前，请先为DLI创建一个委托并进行授权，例如：委托名称notebook_agency，授权DLI FullAccess和OBS Administrator。操作方法请参考创建DLI自定义委托。

     图1 创建委托并授权
     

     同时，在“权限管理 > 权限”里面配置如下自定义策略：

     

     {
         "Version": "1.1",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "iam:agencies:pass"
                 ]
             }
         ]
     }
     1. 单击DLI-PySpark-3.1.1，进入DLI开发界面。
     2. 在界面右上角，单击“connect”配置连接信息。
        • 配置连接基本参数Pool和Queue（DLI的资源池和队列名称）。
        • 配置高级参数（Advanced Settings）。

          表1 Spark Config

          参数	描述
          --conf	填写DLI任务运行的参数。例如配置DLI任务的代理名称。 spark.dli.job.agency.name=notebook_agency（必填） 其他参数根据实际业务需要进行配置。
          --jars	填写文件的OBS路径，多个路径以Enter键分隔。（可选）
          --py-files	填写文件的OBS路径，多个路径以Enter键分隔。（可选）
          --files	填写文件的OBS路径，多个路径以Enter键分隔。（可选）

          表2 Resource Config

          参数	描述
          Driver Memory	设置Driver Memory的大小。大小在0-16之间。默认值为1，不能输入0。
          Driver Cores	设置Driver Cores的大小。大小在0-4之间。默认值为1，不能输入0。
          Executor Memory	设置Executor Memory的大小。大小在0-16之间。默认值为1，不能输入0。
          Executor Cores	设置Executor Cores的大小。大小在0-4之间。默认值为1，不能输入0。
          Executors	设置Executors的大小。大小在0-16之间。默认值为1，不能输入0。

        • 单击“Connect”。配置好以后，会展示DLI队列信息和集群状态“cluster status: connected”。
     3. 单击代码行，输入开发代码并进行调试。
     4. 单击代码行前面的，可以运行该行代码。

        表3

        示例代码	运行结果示意图
        %%spark spark.read.parquet('obs://mytestbucket/demo/data.parquet').show()
        %%sql show tables
        %scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder().appName("demo").getOrCreate(); val inputFile = "obs://mytestbucket/demo/test.txt" val outputDir = "obs://mytestbucket/demo/test" val textFile = spark.read.textFile(inputFile) val wordCounts = textFile.flatMap(line => line.split(" ")).groupByKey(identity).count() wordCounts.write.format("csv").save(outputDir) wordCounts.show() spark.stop()
        %python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("PySpark Example").getOrCreate() data = [("Alice", 34), ("Bob", 45), ("Charlie", 29), ("David", 35)] columns = ["Name", "Age"] df = spark.createDataFrame(data, columns) df.show() filtered_df = df.filter(df.Age > 30) filtered_df.show() average_age = df.groupBy().avg("Age").collect()[0][0] print(f"Average Age: {average_age}") spark.stop()

   • 开发Python任务。
     1. 单击python-3.7.10，进入Python开发界面。
     2. 单击代码行，输入开发代码并进行调试。
     3. 单击代码行前面的，可以运行该行代码。

2. 代码开发完毕后，进行保存并运行。
3. 查看代码运行结果。

Notebook更多操作

Notebook更多相关操作请参考JupyterLab简介及常用操作。

Cell通用操作