[E-commerce App] Kafka Sink Connect 사용
이전 글에서 source connect에서 topic에 데이터를 전달하면, topic에 해당 데이터가 쌓이는 것까지 확인했다. sink connect가 하는 역할은, topic에 전달된 데이터를 가져와서 사용하는 것이다. (Kafka-console-producer에서 데이터 전송 ...
최근 포스트
[E-commerce App] Kafka Source Connect 사용
메세지를 보내고, 가져오는 작업에 있어서 Kafka Connect가 사용되고, Source와 Sink가 쓰일 것이다.
[E-commerce App] Apache Kafka 사용(Kafka Connect)
이 전 글에는 Kafka를 이용해 Producer와 Consumer를 사용해보았다. 이번에는 이어서 Kafka Connect를 사용해보자. 데이터베이스에 저장된 값을 또다른 데이터베이스에 이동하는 예제를 테스트해보기 위해, MariaDB부터 설치하자.
[E-commerce App] Apache Kafka 설치 및 사용(Producer/Consumer)
개요 Kafka 사용 이전 End-to-End 연결 방식의 아키텍처 데이터 연동의 복잡성 증가 (HW, 운영체제, 장애 등) 서로 다른 데이터 Pipeline 연결 구조 확장이 어려운 구조
[E-commerce App] 데이터 동기화 문제
하나의 마이크로 서비스를 하나 이상의 인스턴스에서 기동했을 때, 즉, 클라이언트의 요청이 여러 개가 들어왔을 때, 부하분산을 처리하기 위해서 여러 개의 인스턴스를 띄울 수 있다. (-> 랜덤 포트를 활용한 로드밸런싱)