복세편살 개발라이프
프로그래밍 & IT › Kubernetes

GKE API 간헐적 타임아웃 분석: PSC·Envoy·커널 TCP 버그의 결합

· 읽는 시간 4분

목차
  1. 3줄 요약
  2. 무엇이 바뀌었나
  3. 운영 관점에서 볼 점
  4. 적용해 보려면
  5. 정리
  6. 참고 자료

3줄 요약

  • Private Service Connect(PSC)로 컨트롤 플레인에 접근하던 GKE 환경에서 파드가 Kubernetes API 서버에 연결할 때 간헐적 타임아웃이 발생했고, 약 800명의 개발자가 프로덕션 배포를 하지 못했습니다 [1].
  • 원인은 하나가 아니었습니다. PSC의 패킷 순서 뒤바뀜, Envoy의 half-close 동작, 순서가 바뀐 FIN 패킷을 버리는 리눅스 커널 버그가 서로 맞물렸습니다 [1].
  • 커널 수정은 Linux 6.9.7에 병합된 뒤 6.6·6.1 LTS로 백포트되었고, 기사에 따르면 GKE 1.33.5 이후 버전부터 반영되었습니다 [1].

무엇이 바뀌었나

Google Cloud의 Akash Thakur가 1월에 접수된 고객 사례의 분석 과정을 공개했습니다 [1]. 이 고객은 여러 GKE 클러스터를 운영하면서 컨트롤 플레인을 비공개로 접근하려고 PSC를 쓰고 있었습니다 [1]. PSC는 공용 인터넷을 거치지 않고 비공개 엔드포인트로 서비스에 연결하는 Google Cloud 기능입니다.

패킷 캡처에서 이상한 현상이 보였습니다. 새 TCP 연결 요청에 대해 컨트롤 플레인이 이미 닫힌 이전 연결의 오래된(stale) ACK 패킷으로 응답하고 있었습니다 [1]. 원인은 서로 다른 네트워크 계층에 걸친 세 가지 버그였습니다 [1].

  • PSC의 패킷 재정렬: 패킷이 보낸 순서와 다르게 도착했습니다 [1].
  • Envoy의 half-close 동작: half-close는 한쪽만 송신을 끝낸 상태로 연결을 유지하는 TCP 동작입니다. 이 동작 때문에 연결이 제대로 닫히지 않았습니다 [1].
  • 리눅스 커널 버그: 순서가 바뀐 일부 FIN(연결 종료 신호) 패킷을 커널이 버렸습니다. 그 결과 소켓이 FIN_WAIT_2 상태에 무기한 머물렀습니다 [1]. FIN_WAIT_2는 내가 종료를 알린 뒤 상대의 종료 신호를 기다리는 상태입니다.

대응은 몇 주에 걸쳐 세 단계로 진행되었습니다 [1]. 먼저 PSC 변경을 롤백해 연결을 복구했습니다. 이어 프록시 프로토콜 처리를 고치고 회귀 테스트를 추가했습니다. 마지막으로 전 Google 엔지니어 Eric Dumazet이 작성한 커널 패치로 근본적인 TCP 문제를 해결했습니다 [1].

운영 관점에서 볼 점

업그레이드 영향: 커널 수정은 Linux 6.9.7에 들어갔고 6.6·6.1 LTS 브랜치로 백포트되었습니다 [1]. 기사에 따르면 GKE 고객에게는 1.33.5 이후 버전부터 적용됩니다 [1]. Sidero의 Justin Garrison은 GKE가 6.1 커널을 쓰고 있었고, 이 버그는 업스트림에서 이미 고쳐져 있어 백포트가 필요했다고 지적했습니다 [1]. 장기 지원(LTS) 커널을 쓰는 매니지드 노드는 업스트림 수정이 반영되기까지 시차가 생길 수 있다는 점을 염두에 둘 필요가 있습니다.

진단 난이도: Thakur는 이 장애의 증상이 PSC, 커널 TCP 상태 머신, Envoy 중 어느 계층을 보든 똑같이 'i/o timeout'으로 나타났다고 설명합니다 [1]. 각 계층마다 그럴듯한 설명이 있었지만 어느 것도 완전하지 않았습니다 [1]. 한 계층만 보고 원인을 단정하면 놓칠 수 있다는 뜻입니다.

해석 시 주의: 홍콩중문대 Guangba Yu는 이 사례가 익명화된 단일 사례라서 전체 발생률을 알려 주지 않고, 모든 API 타임아웃을 설명하지도 않는다고 짚었습니다 [1]. GKE API 타임아웃이 모두 이 버그 때문이라고 단정할 근거는 없습니다.

보안·비용 측면의 영향은 자료에서 다루지 않았습니다.

적용해 보려면

자료에 근거한 점검 순서는 다음과 같습니다.

  1. 사용 구성 확인: PSC로 컨트롤 플레인에 비공개로 접근하는 GKE 클러스터인지 확인합니다 [1].
  2. 버전 확인: 클러스터 버전이 1.33.5 이후인지 확인합니다. 그보다 낮으면 커널 수정이 포함된 버전으로 업그레이드를 검토합니다 [1].
  3. 다계층 패킷 캡처: 파드에서 API 서버로 가는 연결에 간헐적 i/o timeout이 보이면 여러 네트워크 계층에서 패킷을 함께 캡처합니다. 이번 사례에서도 이것이 원인 파악의 핵심이었습니다 [1]. 새 연결 요청에 오래된 ACK가 돌아오는지, 소켓이 FIN_WAIT_2에 쌓이는지 살펴봅니다 [1].
  4. 변경 이력과 대조: 증상이 시작된 시점을 인프라 변경 이력과 맞춰 봅니다. 이번 사례에서도 이 대조로 세 버그의 연관성을 밝혀냈습니다 [1].
  5. 복구와 교정 구분: Guangba Yu의 조언처럼, 롤백으로 증상이 사라진 것과 TCP 상태 머신이 실제로 바로잡힌 것을 구분해 기록합니다 [1].

정리

이 장애는 계층마다 각각 합리적인 동작들이 맞물리면서 생겼습니다 [1]. 해결도 롤백, 프록시 수정, 커널 패치라는 세 갈래 조치가 필요했습니다 [1]. PSC 기반 비공개 GKE를 운영한다면 먼저 1.33.5 이후 버전인지 확인하는 것이 좋습니다. 간헐적 타임아웃을 조사할 때는 여러 계층의 패킷 캡처와 변경 이력을 함께 보는 방식이 이번 사례가 남긴 실무적 교훈입니다.

참고 자료

  1. How Google Traced GKE API Timeouts to a Linux Kernel TCP Bug · InfoQ DevOps, 2026-11-21

#GKE#Private Service Connect#Linux 커널#Envoy#TCP#장애 분석