MSA 주요 패턴: 중앙화된 로그 집계 패턴

1. 중앙화된 로그 집계 패턴이란?

마이크로서비스 아키텍처(MSA)는 독립적인 서비스로 구성되기 때문에 서비스별로 로그를 개별적으로 수집하면 문제를 추적하거나 디버깅하는 과정에서 복잡성과 비효율이 증가하기 마련이다. 중앙화된 로그 집계 패턴은 이러한 문제를 해결하기 위해, 분산된 서비스의 로그를 한 곳으로 수집하고, 분석 및 검색이 용이하도록 중앙화된 로그 시스템을 구축하는 전략이다.

---

2. 왜 중앙화된 로그 집계가 필요한가?

2.1. MSA 환경에서의 로그 관리의 어려움

1 서비스 분산:

• MSA 환경에서는 수십에서 수백 개의 마이크로서비스가 각각 독립적으로 로그를 생성한다.
• 이러한 로그를 각 서비스에서 확인하려면 많이 번거로워서 에러 발생 원인을 빠르게 찾기 어려워진다.

2 장애 원인 추적:

• 서비스 간 호출이 복잡해질수록, 장애의 원인을 파악하기 어려워진다.
• 예를 들어, 주문 서비스에서 발생한 문제의 원인이 결제 서비스나 인증 서비스일 수 있다.

3 로그 포맷과 구조의 다양성:

• 각 서비스가 서로 다른 언어, 프레임워크, 라이브러리를 사용할 경우, 로그 포맷이 일관되지 않을 수 있다.

2.2. 중앙화된 로그 집계의 장점

위의 필요에 의해 등장한 것이 중앙화된 로그 집계 패턴이기 때문에 장점이 대응된다.

• 빠른 문제 진단: 모든 서비스의 로그를 한곳에서 조회할 수 있으므로, 장애 원인을 신속히 파악할 수 있다.
• 일관된 로그 분석: 중앙화된 로그 시스템은 공통 포맷으로 데이터를 통합하여 검색 및 분석이 용이하다.
• 확장성 및 모니터링: 로그를 수집하고 분석하여 실시간 모니터링 및 알림 설정이 가능하다.
• 규제 준수 및 감사: 로그 데이터를 중앙에서 관리하면 보안 및 규제 준수 요건을 충족하기가 더 쉽다..

---

3. 중앙화된 로그 집계 아키텍처

3.1. 구성 요소

1 로그 수집기: 각 서비스의 로그를 수집하여 중앙 로그 시스템으로 전송. (eg. Filebeat, Fluentd, Logstash)

2 중앙 로그 저장소: 수집된 로그를 저장하는 장소. (eg. Elasticsearch, Amazon S3)

3 로그 분석 및 시각화 도구: 저장된 로그를 분석하고 시각화. (eg. Kibana, Grafana, Datadog)

4 알림 및 모니터링: 특정 조건(에러 발생, 트래픽 급증 등)을 감지하여 알림을 발송. (eg.PagerDuty, Slack)

---

4. 중앙화된 로그 집계 구현 시 고려사항

1. 성능: 로그 수집기가 과도한 부하를 유발하지 않도록 설계, 로그 전송 속도와 중앙 저장소의 처리 속도를 최적화.

2. 보안:  로그 데이터에 민감한 정보(예: 사용자 데이터, 인증 토큰)가 포함되지 않도록 마스킹 또는 필터링, 로그 저장소에 접근 제어.

3. 데이터 보존 정책: 로그 데이터를 무기한 저장하면 비용이 증가하므로, 적절한 보존 기간 설정(예: 30일, 90일).