검증까지 끝냈는데, 왜 이틀째 그대로였을까 🔀

돈독(제가 만드는 자산관리 앱, https://don-doc.com )을 운영하면서, 기획·개발·디자인·마케팅을 맡은 AI 에이전트 넷을 매일 하나씩 돌립니다. 그날 코드가 어떻게 바뀌었는지, 뭐가 아직 안 풀렸는지 보고서로 남겨두는 방식입니다.

지난주 이 보고서들을 쭉 훑다가 이상한 걸 봤습니다. 어떤 문제 하나를 두고 이미 “이렇게 고치면 된다”는 답까지 확인해놓은 지 이틀이 지났는데, 아무것도 바뀌어 있지 않았습니다.

고칠 방법이 이미 있었습니다, 다른 자리에

설정 문서 안에 서로 모순되는 문장 두 개가 몇 주째 남아 있었습니다. 개발 담당 에이전트가 매 라운드 이 문제를 다시 확인하고, 다음 날로 넘기기를 반복했습니다.

그러다 기획 담당 에이전트가 전체 작업 내역을 훑던 중 뜻밖의 걸 발견했습니다. 며칠 전 다른 작업을 하다가 이미 이 모순을 고쳐놓은 코드 조각이 하나 있는데, 그게 메인 코드에는 얹히지 않은 채 따로 떨어져 있었던 겁니다. 아무도 그 존재를 몰랐던 게 아니라, 알았는데 옮기지 않은 채 방치돼 있었던 거였습니다.

개발 담당 에이전트가 그 자리에서 직접 대조했습니다. 메인 코드와 충돌 나는 부분 없이 그대로 얹을 수 있는 상태, 그러니까 “옮기기만 하면 끝나는 일”이라는 결론이었습니다.

그런데 다음 날도, 그다음 날도 그 코드 조각은 그대로였습니다. 에이전트는 매일 “검증 끝난 지 이틀째, 아직 그대로”라고 다시 확인만 했습니다.

같은 시기에 비슷한 일이 두 건 더 있었습니다. “가계부”라는 표현을 그만 쓰기로 방침을 정한 지 닷새가 지났는데도 실제 문구 세 곳 중 어디에도 반영되지 않았습니다. 또 다른 작업 하나는 이미 완료됐는데, 완료 체크박스는 두 번의 점검 라운드 동안 그대로 미체크 상태였습니다.

확인은 끝났는데, 아무도 그 버튼을 누르지 않았습니다.

이게 왜 반복됐을까 — 검증과 실행은 다른 몫입니다

처음엔 에이전트가 뭔가 놓치고 있다고 생각했습니다. 그런데 들여다볼수록 진단·검증 자체는 정확했습니다. 문제가 뭔지, 어디에 답이 있는지, 그 답을 그대로 써도 되는지까지 전부 맞게 짚어냈습니다.

멈춘 지점은 그다음이었습니다. 코드를 메인에 올리는 일, 방침을 실제 문구에 반영하는 일은 지금 구조에서 사람이 최종 확인하고 눌러야 합니다. 에이전트가 알아서 바로 반영하게 만들 수도 있지만, 그러면 검증이 틀렸을 때 서비스가 바로 깨집니다. 그 위험을 피하려고 일부러 한 단계를 사람 몫으로 남겨뒀는데, 정작 그 한 단계가 매번 병목이 된 셈입니다.

즉 셋 다 “몰라서” 생긴 지연이 아니었습니다. 이미 확인된 채로 대기 목록에 쌓여서 생긴 지연이었습니다. 그리고 쌓여 있는 동안 겉으로는 매일 에이전트가 성실하게 돌고 있으니, 문제가 있다는 것 자체를 알아채기 어려웠습니다.

---

아직 안 끝났습니다

이 글을 쓰는 지금도 그 코드 조각은 병합되지 않았습니다. 검증이 끝난 지 이틀, 방침을 정한 지는 닷새가 지난 상태 그대로입니다. 이번 글의 결론이 “그래서 해결했다”였으면 좋았겠지만, 사실이 아닌 걸 사실인 것처럼 쓸 수는 없었습니다.

대신 바꾼 게 하나 있습니다. 이제 보고서에는 “발견한 지 며칠째”와 별개로 “검증 끝난 지 며칠째”를 따로 적습니다. 두 숫자가 갈리기 시작하는 순간이, 문제가 어려워서가 아니라 제가 버튼을 안 눌러서 막힌 순간이라는 뜻이거든요.

따라 하기

에이전트를 여러 개 굴리는데 결과물이 안 나온다면, 진단이 틀려서가 아니라 검증과 실행 사이 어딘가에 걸려 있을 가능성이 높습니다. 아래 세 가지로 그 지점을 드러낼 수 있습니다.

1. “검증됨”과 “실행됨”을 별도 상태로 나눠 기록하기

같은 항목이라도 두 상태를 하나로 뭉뚱그리면, 검증까지 끝난 게 실행 안 된 것도 그냥 “진행 중”으로 보입니다.

- <날짜>: <항목명> — 발견 D+<경과일> · 검증완료 D+<경과일> · 실행 D+<경과일 또는 미실행>

왜 필요한가 — 발견 후 경과일만 적으면 “아직 검토 중인가 보다”로 읽힙니다. 검증 완료 시점을 따로 찍어야 “다 확인됐는데 왜 안 옮겼지”가 눈에 들어옵니다.

2. 검증 완료 항목만 따로 뽑아 보고서 맨 위에 올리기

전체 대기 목록 안에 섞여 있으면 우선순위가 안 보입니다. 검증이 끝난 항목은 실행만 하면 되는 항목이니, 따로 분리해서 가장 먼저 보이게 합니다.

에이전트 실행 시 다음 순서로 보고하라:
1) 검증 완료 · 실행 대기 항목 (있다면 최우선 표시)
2) 검증 진행 중 항목
3) 신규 발견 항목

왜 필요한가 — 검증 완료 항목은 더 이상 AI가 할 일이 없는 항목입니다. 사람이 볼 첫 줄에 두지 않으면 나머지 항목들 사이에 묻혀서 매번 똑같이 지나칩니다.

3. 실행이 며칠째 안 됐으면 에이전트가 먼저 되묻게 하기

검증 완료 후 하루 이틀은 정상입니다. 그 이상 넘어가면 같은 문구를 반복하지 말고, 왜 아직 실행이 안 됐는지를 사람에게 되묻는 문장으로 바꿉니다.

검증완료 D+2 이상인 항목은 "재확인"이 아니라
"이 항목은 검증이 끝났는데 아직 실행되지 않았습니다. 지금 실행해도 되는지,
아니면 보류할 이유가 있는지" 형태의 질문으로 보고하라.

왜 필요한가 — “재확인했습니다”는 사람 눈에 정상 동작처럼 읽힙니다. 질문 형태로 바뀌면 그냥 지나치기가 더 어려워집니다.

마무리

AI 에이전트를 여러 개 굴리면서 은근히 기대했던 건, 사람 손이 점점 덜 가는 그림이었습니다. 그런데 실제로 겪어보니 손이 아예 안 가는 지점은 없고, 다만 그 손이 필요한 지점이 “찾아내는 것”에서 “누르는 것”으로 옮겨갔을 뿐이었습니다. 그 지점을 숨기지 않고 보이게 해두는 것부터가, 지금 제가 할 수 있는 전부입니다.

오늘도 차분히 한 걸음. 🐴