AWS Kinesis Data Streams, Kinesis Firehose

Kinesis Data Streams

https://aws.amazon.com/ko/kinesis/data-streams/

• 대량 데이터 레코드 스트림 실시간 수집 및 처리
• 샤드 수를 조절해서 스트림을 얼마나 받을지 조절 가능
• 생산자가 데이터를 스트림에 넣음 → 소비자가 데이터 가져감
  • 그니깐 스트림은 임시 저장소? 같은 느낌

출처: https://docs.aws.amazon.com/ko_kr/streams/latest/dev/key-concepts.html / 이미지 기준으로 파란색 큰 원통이 스트림이고 그 속은 샤드라는 작은 원통으로 구성됨

• 생산자
  • 데이터 생산자
  • 스트림에 갖다 넣는 애
  • 예) 웹 서버
• 소비자
  • 데이터 소비자
  • 스트림에서 데이터 가져가는 애
  • Kinesis Data Streams 애플리케이션이라도 함
  • AWS 내 다른 서비스나 Kinesis Data Firehose도 소비자가 될 수 있음
• 샤드
  • 데이터 레코드 시퀀스
  • 스트림은 1개 이상 샤드로 구성
  • 데이터 속도에 따른 샤드 개수 조절 가능
• 보존기간
  • 스트림에 들어간 데이터 액세스 가능 시간
    • 기본은 24시간이고 24시간 초과 시 추가 요금 적용됨
    • 최대 365일 

---

Kinesis Firehose

https://aws.amazon.com/ko/kinesis/data-firehose/#:~:text=Amazon%20Kinesis%20Data%20Firehose%EB%8A%94,%EC%A0%81%EC%9E%AC(ETL)%20%EC%84%9C%EB%B9%84%EC%8A%A4%EC%9E%85%EB%8B%88%EB%8B%A4.

• 데이터 레이크, 데이터 스토어, 분석 서비스에 전달하는 추출, 전환, 적재(ETL) 서비스
  • Amazon Simple Storage Service(Amazon S3), Amazon Redshift, Amazon OpenSearch Service, Amazon OpenSearch Serverless, Splunk 등으로 보낼 수 있음
• 전환 또는 데이터 변환 후 적재하는 경우 원본 데이터만 백업용으로 별도 저장소에 보낼 수도 있음
  • S3 적재 시, Transformed Data(Failed Data 포함)는 S3 A 버킷에, Source Data는 S3 B 버킷에 가능
• 핵심은 "전달"

---

출처

 

Amazon Kinesis Data Streams 용어 및 개념 - Amazon Kinesis Data Streams

Amazon Kinesis Data Firehose란? - Amazon Kinesis Data Firehose

[AWS Kinesis] Data Stream vs. Data Firehose