4시간에서 12분으로: 128°C 보일러 온도 급상승의 원인을 추적하다
전: 4시간, 세 사람, 공유 스프레드시트 한 장.
후: 12분, 한 사람, 쿼리 한 번.
이것이 보일러 과열 인시던트를 예전 방식으로 진단할 때와, 공장의 로그들이 실제로 서로 연결된 뒤에 진단할 때의 차이다. 아래는 데모 시나리오다 — 실제 고객 사례가 아니라 — Rootr의 공장 로그 데이터 모델을 기반으로, 두 번째 버전이 가능해지면 무엇이 달라지는지 보여주기 위해 만들었다.
인시던트
보일러 출구 온도가 운전 상한선인 110°C를 훌쩍 넘어 128°C까지 올라간다. 안전 인터록이 작동해 라인이 멈춘다. 다친 사람도 없고 고장 난 설비도 없지만, 누군가 확신을 갖고 “왜” 이런 일이 벌어졌는지, 그리고 앞으로 한 시간 안에 다시 벌어지지 않을지 답할 때까지 라인은 멈춰 있다.
전 — 실제 4시간은 이렇게 흘러갔다
온도 로그는 SCADA 히스토리안에 있다. 정비 로그 — 급수 펌프를 마지막으로 정비한 시점 — 는 별도의 정비 티켓팅 툴에 있다. 배치 일정 — 그 시점에 라인에서 실제로 무엇이 돌고 있었는지 — 은 교대 감독자가 손으로 업데이트하는 스프레드시트에 있다. 밸브 제어 로그는 PLC 자체에 있어서, 현장 접근 권한이 있는 사람이 직접 뽑아야 한다.
무슨 일이 있었는지 재구성하려면 엔지니어는 이렇게 해야 한다. 온도 로그를 내보내고, 배치 일정 스프레드시트와 타임스탬프를 대조하고, 정비팀에 급수 펌프를 마지막으로 언제 정비했는지 묻고, PLC까지 걸어가 밸브 위치 로그를 확인하고, 이 네 가지를 전부 — 보통 다섯 번째 스프레드시트에다가 — 손으로 하나의 타임라인에 줄 세운다. 네 시간 뒤, 답은 대체로 맞다. 하지만 네 시간이 걸렸고, 각자 그림 조각 하나씩을 쥔 세 사람이 필요했다.
무엇이 달라졌나
서로 말을 섞지 않는 네 개의 시스템 대신, 같은 네 가지 데이터 — 온도 값, 정비 기록, 배치 일정, 밸브 제어 로그 — 가 이미 관계가 정의된 채로 한곳에 모인다. 어떤 배치가 어떤 밸브 설정으로 이어지는지, 어떤 밸브 설정이 어떤 정비 기록과 연결되는지, 어떤 정비 기록이 어떤 기술자와 어떤 날짜에 연결되는지. 이 연결은 데이터를 세팅할 때 한 번만 정의된다 — 인시던트가 터질 때마다 손으로 다시 만드는 게 아니다.
급상승이 발생하면, 한 사람이 평범한 질문 하나를 던진다 — 지난 한 시간 동안 3번 라인 출구 온도에 무슨 일이 있었고, 그 직전에 뭐가 바뀌었나 — 그러면 시스템이 그 미리 정의된 연결을 자동으로 따라간다. 온도 추이를 끌어오고, 그 시점에 돌고 있던 배치와 대조하고, 급수 펌프의 마지막 정비가 그 시간대 안에 들어오는지 확인하고, 급상승 직전에 밸브 설정이 바뀌었는지 확인한다. 엔지니어는 더 이상 네 개의 툴을 뒤지지 않는다. 이미 조립된 타임라인 하나를 검토하고 확인만 하면 된다.
12분 만의 답
이 시나리오에서는 교대 인수인계 도중, 급상승 40분 전에 급수 밸브가 조정됐고, 당시 돌고 있던 배치는 그 밸브 설정보다 더 낮은 유량을 필요로 했다 — 로그 하나만 봐서는 드러나지 않는 불일치이고, 밸브 변경·배치 요구사항·온도 추이가 같은 타임라인 위에 나란히 놓여야만 보이는 문제다. “전” 버전에서는 손으로 조립하는 데 네 시간이 걸렸던 이 상관관계를, 타임라인이 이미 만들어져 있는 상태에서는 확인하는 데 12분이 걸렸다.
보일러 하나를 넘어서는 의미
구체적인 조치 — 밸브를 배치가 요구하는 유량으로 되돌리는 것 — 는 흥미로운 부분이 아니다. 흥미로운 부분은 3시간 48분이 어디로 갔느냐다. 뭔가를 고치는 데가 아니라, 연결되지 않은 네 개의 기록을 찾아내고 그것들이 하나의 이야기라는 걸 손으로 증명하는 데 쓰였다. 근본 원인 분석(RCA)이 항상 세 시간 넘게 걸리는 이유에서 설명한 것과 같은 대가다 — SRE 대신 제조업 모자를 쓰고 있을 뿐이다. 프로덕션 로그, 정비 기록, 변경 이력을 서로 다른 시스템에 흩어놓고 운영하는 팀이라면, 라인에서 보일러를 만들든 코드를 배포하든 매 인시던트마다 이 대가를 치르고 있는 셈이다.
참고: 이 사례는 워크플로를 보여주기 위한 데모 데이터셋을 사용한 것이며, 실제 고객의 프로덕션 인시던트가 아닙니다. 특정 고객의 성과를 주장하는 내용이 아닙니다.