Tạo Kinesis Firehose
Tạo Kinesis Firehose
Trong bước này, chúng ta sẽ điều hướng đến Kinesis Console và tạo một luồng dữ liệu Kinesis Firehose để tiếp nhận dữ liệu và lưu trữ trong S3:
- Đi đến: Kinesis Firehose Console Bấm vào đây
- Bấm vào Create delivery stream (Tạo luồng dữ liệu)
- Chọn source và destination
- Source: Direct PUT
- Destination: Amazon S3
- Delivery stream name: analytics-workshop-stream
-
Chuyển đổi và biến đổi các bản ghi
- Chuyển đổi các bản ghi nguồn bằng AWS Lambda: Disabled (Leave ‘Enable data transformation’ as unchecked)
- Chuyển đổi định dạng bản ghi RecConvert: Disabled (Leave ‘Enable record format conversion’ as unchecked)
- Destination settings
- S3 bucket: yourname-analytics-workshop-bucket
- Dynamic partitioning: Not Enabled
- S3 bucket prefix: data/raw/ (Lưu ý: dấu gạch chéo / sau từ raw là quan trọng. Nếu bạn bỏ qua nó, Firehose sẽ sao chép dữ liệu vào một vị trí không mong muốn)
- S3 bucket error output prefix: Để trống
- Expand Buffer hints, compression and encryption
- Buffer size: 1 MiB
- Buffer interval: 60 seconds
- Compression for data records: Not Enabled
- Encryption for data records: Not Enabled
- Advanced settings
- Server-side encryption: unchecked
- Amazon Cloudwatch error logging: Enabled
- Permissions: Create or update IAM role KinesisFirehoseServiceRole-xxxx
- Optionally add Tags, e.g.:
- Key: workshop
- Value: AnalyticsOnAWS
- Review cấu hình và đảm bảo rằng nó như đã đề cập ở trên. Chọn Create delivery stream
- Tạo delivery stream thành công.