제목 없음

갑자기 서비스에 엄청난 트래픽이 몰려서 서버가 뻗어버리는 현상. 인프라 다루는 분들이라면 정말 자다가도 벌떡 일어날 악몽이죠. 보통 이런 상황이 오면 가장 먼저 하는 조치가 오토스케일링(Auto-scaling)으로 서버 대수를 무식하게 늘리는 겁니다.

그런데 가끔 이런 답답한 구간에 부딪힙니다.

"컴퓨팅 자원을 아무리 쏟아부어도 응답 속도(Latency)가 전혀 개선되지 않네?"

왜 그럴까요? CPU나 메모리가 부족해서가 아닙니다. 서버의 네트워크 스택 자체가 패킷을 처리하다가 지쳐버렸기 때문입니다.

문제는 끊임없는 '컨텍스트 스위칭'

우리가 흔히 쓰는 프록시나 방화벽 툴들은 대부분 '유저 스페이스(User Space)'에서 동작합니다. 외부에서 데이터 패킷이 하나 들어올 때마다 내부에서는 이런 복잡한 과정이 일어납니다.

패킷 도착

커널 스페이스에서 유저 스페이스로 데이터 복사

보안 및 라우팅 로직 처리

다시 커널 스페이스로 데이터 전달

트래픽이 초당 수만 건 단위로 치솟으면 이 컨텍스트 스위칭(Context Switching) 비용 자체가 눈덩이처럼 불어납니다. 결국 시스템 전체를 마비시키는 주범이 되는 거죠.

이제는 커널 단에서 직접 쳐내야 할 때: eBPF

이 한계를 돌파하려면 패킷이 유저 스페이스로 올라오기도 전에, 아예 OS 커널의 가장 낮은 단에서 불필요한 트래픽을 드랍시키거나 라우팅해버려야 합니다. 최근 글로벌 테크 기업들이 앞다투어 인프라에 도입하고 있는 eBPF(Extended Berkeley Packet Filter) 기술이 바로 그 역할을 합니다.

eBPF를 활용하면 무겁고 느린 사이드카 프록시 대신, 네트워크 인터페이스 카드(NIC) 수준에서 실시간으로 데이터를 통제할 수 있습니다. 성능 차이는 굳이 말할 필요도 없이 압도적입니다.

단순한 개념을 넘어서 실제 프로덕션 환경에서 어떻게 eBPF를 구현하고 레이턴시를 0.1ms 단위로 최적화하는지 궁금하시다면, 최근에 읽었던 아래 가이드를 꼭 한번 참고해 보시길 권합니다.

👉 커널 레벨의 실시간 분산 시스템 확장 아키텍처 가이드 (C언어 XDP 후킹 코드 포함)

타임아웃을 기본값인 30초로 설정했습니다.

일반적인 상황에서 외부 API는 200ms 내외로 응답하기 때문에 30초라는 임계치가 체감될 일은 거의 없습니다.

하지만 진짜 문제는 외부 API의 지연이 발생하는 순간입니다.

평소 작동하지 않던 이 30초의 타임아웃이 오히려 커넥션 풀을 점유하게 만들며 시스템 전체의 연쇄 장애를 유발하는 도화선이 됩니다.

30초의 공백

외부 API 응답이 지연됐습니다. 첫 번째 요청이 30초를 기다립니다.

그런데 그 30초가 끝나기 전에 두 번째, 세 번째... 백 번째 요청이 들어옵니다.

전부 스레드 점유. 전부 대기.

30초 동안 스레드 풀이 고갈됩니다. 새로운 요청은 대기 큐로 밀립니다. 큐도 가득 차면 요청이 거부됩니다.

외부 API 하나가 느려진 것뿐인데, 우리 서비스 전체가 멈춥니다.

왜 이런 일이 생기나요

타임아웃은 "이 시간까지 응답 없으면 포기"입니다.

문제는 그 시간이 너무 길면, 포기하기 전까지 스레드가 계속 묶인다는 겁니다.

스레드는 유한한 자원입니다. 동시에 처리할 수 있는 요청 수에 한계가 있습니다. 그 한계를 외부 서비스 하나가 전부 잡아먹으면, 나머지 요청은 처리될 수가 없습니다.

타임아웃 30초는 장애 전파 시간을 30초로 설정해 둔 것과 같습니다.

타임아웃은 하나가 아닙니다

많은 분들이 타임아웃을 하나로 생각하시는데, 실제로는 세 가지가 독립적으로 존재합니다.

Connection Timeout은 서버에 연결을 맺는 시간입니다. 3초 이내가 권장입니다. 이 시간이 넘으면 서버가 없거나 네트워크 문제입니다.

Read Timeout은 연결 후 응답을 받는 시간입니다. p99 응답시간의 1.5~2배가 적당합니다. 평소 p99가 200ms라면 타임아웃은 300~400ms입니다.

Write Timeout은 요청 데이터를 전송하는 시간입니다. 대용량 업로드가 아니라면 Read Timeout과 동일하게 설정합니다.

대부분의 프레임워크 기본값은 이 세 가지가 뭉뚱그려져 있거나 무한대입니다. 반드시 직접 명시해야 합니다.

타임아웃 이후도 설계해야 합니다

타임아웃이 반복되는 상황에서 스레드만 소진되는 게 아닙니다. DB 커넥션 풀도 함께 고갈됩니다.

타임아웃으로 요청이 실패해도, 해당 커넥션이 즉시 반환되지 않는 경우가 있습니다. 풀 안에서 조용히 누수가 쌓입니다. 겉으로는 서비스가 정상처럼 보이지만, 가용 커넥션은 계속 줄고 있습니다.

모니터링 대시보드가 초록불인데 장애가 나는 이유가 여기에 있습니다. 커넥션 풀 누수가 어떻게 감지되지 않은 채 시스템을 잠식하는지는 아래 글에서 확인하세요.

👉 Your Connection Pool Is Leaking — You Just Don't Know It Yet

핵심 정리

타임아웃은 방어선입니다. 그 방어선이 너무 느슨하면, 외부 장애 하나가 전체 시스템을 끌고 내려갑니다.

Connection / Read / Write를 분리해서 설정하세요. 기본값은 절대 그대로 쓰지 마세요. p99 응답시간 기반으로 값을 계산하세요. 그리고 타임아웃 이후 Circuit Breaker까지 함께 설계하세요.

캐시 TTL 60초. 평소엔 아무 문제 없습니다.

60초마다 캐시가 갱신되고, 그 사이 수천 개의 요청은 캐시에서 처리됩니다. DB는 편하게 쉬고 있죠.

그런데 그 60초가 끝나는 바로 그 순간. 문제가 터집니다.

0.3초의 공백

캐시가 만료됐습니다. 첫 번째 요청이 DB에 쿼리를 날립니다.

그런데 그 쿼리가 끝나기 전에 두 번째, 세 번째... 만 번째 요청이 들어옵니다.

전부 캐시 미스. 전부 DB로 직행.

0.3초 동안 5만 개의 동일한 쿼리가 DB를 덮칩니다.

CPU 100%. 커넥션 풀 고갈. 타임아웃. 장애.

왜 이런 일이 생기나요

캐시는 "있으면 반환, 없으면 DB 조회" 로직입니다.

문제는 "없으면"의 순간이 모든 요청에게 동시에 온다는 겁니다.

첫 번째 요청이 DB에서 데이터를 가져와 캐시에 저장하기까지 보통 50~200ms 걸립니다. 그 짧은 시간 동안 들어오는 모든 요청이 캐시 미스를 경험합니다.

해결책 1: 락 걸기

첫 번째 요청만 DB에 가고, 나머지는 기다리게 합니다.

캐시 미스가 발생하면 락을 획득한 요청 하나만 DB를 조회합니다. 다른 요청들은 그 결과를 기다렸다가 공유합니다.

5만 개 쿼리가 1개로 줄어듭니다.

해결책 2: 미리 갱신하기

캐시가 만료되기 전에 미리 갱신합니다.

TTL이 60초라면, 50초쯤 됐을 때 백그라운드에서 미리 DB를 조회해 캐시를 갱신합니다. 사용자 요청은 항상 캐시에서 처리됩니다.

만료되는 순간 자체가 없어집니다.

해결책 3: 만료 시간 분산하기

모든 캐시가 동시에 만료되는 게 문제라면, 만료 시간을 흩어놓으면 됩니다.

TTL을 60초 고정이 아니라 55~65초 사이 랜덤으로 설정합니다. 캐시들이 제각각 만료되면서 DB 부하가 분산됩니다.

정리

캐시는 DB를 보호하는 방패입니다. 그런데 그 방패가 내려가는 순간, DB는 무방비 상태가 됩니다.

그 순간을 어떻게 관리하느냐가 시스템 안정성을 결정합니다.

실제로 5만 개 요청이 0.3초 만에 DB를 죽인 사례와 구체적인 코드 구현은 아래 글에서 확인하세요.

금요일 오후 5시, 배포 버튼을 누르는 순간 심장이 멎는 기분을 아시나요?

"이번에도 잘 되겠지..."라고 되뇌면서도 모니터링 대시보드에서 눈을 뗄 수가 없습니다. 서버가 내려가는 몇 초, 혹은 몇 분. 그 사이에 들어오는 사용자 요청은 전부 에러입니다. 운이 나쁘면 롤백해야 하고, 롤백하는 동안 또 서비스가 중단됩니다.

이게 2026년에도 반복되어야 할 일일까요?

전통적인 배포의 문제점

대부분의 팀이 아직도 이런 방식으로 배포합니다:

실행 중인 애플리케이션 중지

새 버전 배포

애플리케이션 재시작

문제없기를 기도

1번부터 3번까지 서비스는 완전히 중단됩니다. 4번에서 문제가 발견되면? 다시 1번부터 반복입니다. 사용자 이탈, 매출 손실, 그리고 팀의 사기 저하까지. 배포가 두려운 이유입니다.

해결책은 이미 존재합니다

무중단 배포(Zero-Downtime Deployment)는 더 이상 대기업만의 특권이 아닙니다. 핵심 전략은 크게 두 가지입니다.

Blue-Green 방식: 동일한 환경 두 개를 준비합니다. 하나(Blue)가 운영 중일 때, 다른 하나(Green)에 새 버전을 배포하고 테스트합니다. 문제없으면 트래픽을 Green으로 전환합니다. 롤백이요? 그냥 다시 Blue로 전환하면 됩니다. 1초면 충분합니다.

Canary 방식: 새 버전을 전체 사용자의 5%에게만 먼저 노출합니다. 에러율과 응답시간을 지켜보면서 점진적으로 10%, 25%, 50%, 100%까지 확장합니다. 문제가 감지되면 즉시 원복합니다. 피해 범위가 5%로 제한되는 셈입니다.

어떤 전략을 선택해야 할까요?

정답은 "상황에 따라 다르다"입니다.

인프라 비용 여유가 있고 빠른 전환이 필요하다면 Blue-Green이 적합합니다. 리스크를 최소화하면서 실제 사용자 반응을 보고 싶다면 Canary가 더 나은 선택입니다.

많은 성숙한 조직은 두 가지를 혼용합니다. 인프라 변경은 Blue-Green으로, 애플리케이션 코드 변경은 Canary로 배포하는 식입니다.

진짜 어려운 건 데이터베이스입니다

솔직히 애플리케이션 배포는 쉬운 편입니다. 진짜 까다로운 건 DB 스키마 변경입니다. 컬럼 이름을 바꾸거나 테이블 구조를 변경할 때, 구버전과 신버전 애플리케이션이 동시에 동작해야 하기 때문입니다.

해결책은 "하위 호환성 유지"입니다. 컬럼을 바로 삭제하지 말고, 새 컬럼 추가 → 데이터 마이그레이션 → 구버전 완전 종료 후 → 구 컬럼 삭제. 이 단계를 지키면 무중단 스키마 변경이 가능합니다.

배포가 두려우면 배포 횟수가 줄어듭니다. 배포 횟수가 줄어들면 한 번에 배포하는 변경사항이 많아집니다. 변경사항이 많아지면 리스크가 커집니다. 악순환입니다.

무중단 배포는 이 악순환을 끊는 첫 번째 단추입니다.

Blue-Green과 Canary 전략의 구체적인 구현 방법, 코드 예시, 그리고 실무 적용 시 주의사항이 궁금하시다면 아래 기술 아티클을 참고해 보세요.

시스템은 반드시 실패합니다. "만약"이 아니라 "언제"의 문제입니다.

문제는 추천 서비스 하나 죽었는데 결제까지 안 되는 것. 이게 장애 전파입니다.

핵심: 부분만 죽게 하라

중요하지 않은 기능이 죽어도, 핵심 기능은 살린다.

상품명/가격 → 필수 (실패 시 에러)

추천 상품 → 부가 (실패 시 무시)

리뷰 → 부가 (실패 시 "일시 오류" 표시)

Fallback 3가지 패턴

1. Static Fallback - 기본값 반환 설정 서비스 죽으면 → 미리 정한 기본 설정 사용

2. Cached Fallback - 캐시 데이터 사용 가격 서비스 타임아웃 → 5분 전 캐시 가격 반환

3. Functional Fallback - 기능 다운그레이드 ML 검색 장애 → 기본 키워드 검색으로 전환

흔한 실수

🚫 재고 서비스 장애 시 "999개" 반환 → 초과판매 발생 🚫 Fallback 발동해도 모니터링에 안 잡힘 → 문제 인지 못함 🚫 Fallback 테스트 안 함 → 실제 장애 시 작동 안 함

더 알아보기

마이크로서비스에서 장애가 어떻게 조용히 전파되는지 더 깊이 알고 싶다면:

👉 마이크로서비스의 Silent Killer

대시보드가 녹색인데 왜 장애가 났을까?

Prometheus, Grafana, Datadog 다 붙였는데 장애를 놓쳤다면?

문제는 도구가 아니라 무엇을 측정하느냐입니다.

Observability의 3가지 기둥

1. Metrics (지표)

CPU, Memory, Request Count

한계: 평균의 함정에 빠지기 쉬움

2. Logs (로그)

이벤트 기록

한계: 볼륨이 커지면 분석 불가

3. Traces (추적)

요청 흐름 추적

한계: 샘플링 비율에 따라 놓칠 수 있음

진짜 문제: Correlation Gap

3가지 기둥이 각각 존재하지만, 서로 연결되지 않으면 무의미합니다.Alert: CPU 90% → 어떤 요청이 원인? → 로그에서 찾기 힘듦 → 트레이스와 연결 안 됨 → 장애 원인 파악 실패

해결 패턴

1. Correlation ID 도입

모든 요청에 고유 ID 부여 → Metrics, Logs, Traces 연결X-Correlation-ID: abc-123 Metric: request_duration{correlation_id="abc-123"} Log: [abc-123] Processing order Trace: span.correlation_id = "abc-123"

2. SLI/SLO 기반 측정

CPU가 아니라 사용자 경험 기준으로 측정 지표 Bad Good 측정 기준 CPU 50% 에러율 0.1% 이하 알람 조건 CPU > 80% SLO 위반 시

3. 적절한 샘플링

100% 수집은 비용 폭발. 전략적 샘플링 필요.

정상 요청: 1% 샘플링

에러 요청: 100% 수집

느린 요청 (p99): 100% 수집

도입 효과

지표 Before After MTTD (탐지 시간) 45분 3분 MTTR (복구 시간) 2시간 25분 False Positive 40% 5%

마무리

Observability는 도구 도입이 아니라 측정 전략입니다.

체크리스트:

Correlation ID로 연결되어 있는가?

SLI/SLO 기반으로 측정하는가?

샘플링 전략이 있는가?