Apach Kafka 란 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산형 데이터 스트리밍 플랫폼 장점 1 : 복제기능으로 서버 이슈에도 데이터 손실없이 복구가능 장점 2 : 처리량이 높아 빅데이터 처리에 유용 (broker, partition) 용어 설명 producer : 데이터를 카프카에 보내는 역할 대용량의 클릭 로그를 실시간으로 카프카 topic에 생성 (저장) broker로 데이터 전송 할 때 전송 성공 여부 알 수 있음 consumer : 토픽 내 파티션에 저장된 데이터를 가져가는 역할 (=polling) partition offset 위치 기록 : 중단 및 손실되어도 기록된 위치 이후로 작업하면 됨 consumer group을 통해 병렬 처리 consumer group..
