创建实验环境

在进行实验前，需要提前创建一些资源。 这包括：

  • S3 Bucket，用于存储原始数据和处理后的数据
  • IAM 角色，用于授权访问
  • Athena WorkGroup，用于后面查询数据
  • Glue DataBrew: Datasets, Projects, Recipes, Jobs, 以帮助清理数据
  • Amazon SNS 主题，用于通知
  • AWS Lambda Functions，用于执行设置的自定义任务

创建CloudFormation Stack

在CloudFormation页面，创建新的stack，使用以下URL：

https://pingfan.s3.amazonaws.com/files/orchestrating-databrew-athena-step-functions-cloudformation.yaml

image-20231112194033462

为CloudFormation命名，最后点击创建。

配置SNS邮件通知地址

上面的stack创建完成后，会创建一个SNS主题StepFunctionWorkshopTopic，里面还没有添加订阅，我们先创建一个邮件类型的订阅：

image-20231112194218558

输入自己的邮件地址，里面会收到一封确认邮件：

image-20231112194304378

点击确认链接，完成订阅。

CloudFormation创建出的Resouce里面有三个S3桶，把它们桶的名称也记录下来，后面会用到：

image-20231112194417854