Kafka의 탄생

• 링크드인의 파이프라인의 문제를 해결하기 위해 탄생
• 초창기의 파이프라인에서는 데이터 처리량도 적어 큰 이슈가 없었지만
• 시스템이 거대해지면서 nodes가 많아졌고 복잡도가 증가
• traffic의 증가로 인해서 장애상황 노출이 증가
• 이에 따라, 장애상황에 따른 재처리 이슈 및 데이터 유실 처리

⇒ Kafka가 이를 해결

• 장애 상황을 해결하기 위한 대안 상황
• 대규모 서비스 처리

Kafka 학습을 위한 기본 개념 이해

2. 실습 환경 설정