근본 원인 분석이 항상 세 시간 넘게 걸리는 이유
새벽 2시 14분. 알림이 울린다. 인시던트 채널이 다시 조용해질 즈음엔 이미 해가 떠 있고, 세 사람은 녹초가 되어 있고, 포스트모템 캘린더에는 벌써 “근본 원인: 미정”이라는 항목이 잡혀 있다.
페이저를 들어본 사람이라면 안다. 문제를 고치는 데는 대체로 세 시간씩 걸리지 않는다. 뭐가 잘못됐는지만 알면 고치는 건 보통 5분이면 끝난다 — 서비스를 재시작하거나, 배포를 롤백하거나, 리밋 값을 올리거나. 세 시간은 완전히 다른 곳에서 사라진다. 애초에 뭐가 잘못됐는지 알아내는 데 그 시간이 들어간다.
세 시간은 실제로 어디로 사라지나
그 시간이 실제로 흘러가는 곳을 하나씩 짚어보자.
고고학 조사 비용
뭔가 고장났는데, 증거는 여섯 군데에 흩어져 있다. 24시간치밖에 보여주지 않는 메트릭 대시보드, 제 나름의 쿼리 문법을 가진 로그 수집기, 다른 툴에 있는 배포 이력, 2주 전 풀리퀘스트에 묻혀 있는 설정 변경, 아무도 페이지를 받기 사흘 전에 “이거 좀 느려진 것 같은데”라고 남겨진 고객 지원 티켓. 이 도구들은 서로의 존재를 모른다. 통합 계층 역할은 당신이, 그것도 수작업으로, 새벽 2시에 브라우저 탭 여섯 개를 띄워놓고 눈으로 타임스탬프를 맞춰가며 해낸다.
구전 지식 비용
조직 어딘가엔 이 증상이 8개월 전에도 똑같이 나타났고, 사실은 매달 1일에 도는 배치 작업 때문이었으며, 동부 클러스터에만 영향을 준다는 걸 기억하는 사람이 딱 한 명 있다. 그 사람은 지금 자고 있거나, 휴가 중이거나, 이미 퇴사하면서 그 지식을 함께 가져가 버렸다. 나머지 사람들은 원래 알고 있어야 했을 것을 처음부터 다시 유추해내는 중이다.
재구성 비용
용의자를 하나 찾아도 그걸 증명하는 일이 남는다. 무엇이 어떤 순서로 바뀌었는지, 그 타이밍이 실제로 문제가 터진 시점과 맞아떨어지는지 — 아니면 새벽 4시에 답을 원하는 마음이 만들어낸 우연한 패턴매칭일 뿐인지 — 손수 타임라인을 재구성해서 확인해야 한다. “세 시간”의 대부분은 틀려서 쓰는 시간이 아니다. 확신이 없어서, 그래서 계속 확인하고 또 확인하느라 쓰는 시간이다. 타임라인을 미리 만들어서 건네주는 존재가 없기 때문이다.
이 시간은 어디에도 인시던트 타이머에 찍히지 않는다. 타이머는 그저 “해결까지 3시간 12분”이라고 말할 뿐이다. 그중 2시간 40분이 바늘을 찾기도 전에 건초더미부터 찾느라 쓰였다는 것, 그리고 이 똑같은 수색이 다음 주에 또 처음부터 반복된다는 것 — 이번에 배운 게 다음으로 하나도 이어지지 않기 때문이라는 것은 타이머가 말해주지 않는다.
이건 온콜 업무 중 아무도 직무기술서에 적지 않는 부분이다. 인시던트가 터진 순간 당신은 엔지니어가 아니다. 사건 파일도 없이, 여섯 명의 목격자가 각자 파편 하나씩만 본 범죄 현장을, 그것도 여섯 개의 서로 다른 언어로 재구성하는 탐정이다.
런북으로는 해결되지 않는 이유
팀은 사람을 더 뽑거나 런북을 더 쓴다고 해서 이 일에 빨라지지 않는다 — 런북은 이미 겪은 인시던트에 대한 답이지, 지금 벌어지고 있는 이 인시던트에 대한 답은 아니다. 팀이 빨라지는 건 파편이 더 이상 파편이 아니게 될 때다. 페이저가 울리기 전에 이미 증거들이 연결되어 있고, 온콜 담당자가 세 시간을 답을 조립하는 데가 아니라 답을 확인하는 데 쓸 수 있을 때.
지난 화요일 얘기처럼 들린다면, 당신이 잘못하고 있는 게 아니다. 이야기 조각 하나씩을 쥔 모든 시스템이 서로 말을 섞기를 거부할 때, 근본 원인 분석이 치르는 대가가 원래 이렇다.