‘자동으로 해준다’는 말이 가장 피곤해지는 순간

회의록을 정리해 주는 AI는 반갑습니다. 그런데 그 AI가 담당자와 기한을 정해서 업무 도구에 등록하고, 고객에게 메일을 보내고, 일정을 잡기 시작하면 이야기가 달라집니다. 한 번의 실수는 초안을 고치는 일이 아니라, 취소·사과·관계 회복이 필요한 일이 될 수 있습니다.

그래서 AI 자동화는 처음부터 ‘무엇을 할 수 있나’보다 ‘어디에서 멈춰야 하나’를 정하는 편이 좋습니다. 화려한 에이전트(목표만 주면 다음 행동을 스스로 골라 실행하는 AI)가 아니라, 단순한 초안과 사람의 승인으로 시작하는 이유입니다.

워크플로와 에이전트는 무엇이 다를까요

워크플로는 사람이 다음 순서를 정합니다. 예를 들어 ‘회의 녹음 → 요약 초안 → 담당자 확인 → 업무 도구 등록’처럼 경로가 미리 정해져 있습니다. 에이전트는 목표를 받은 뒤, 다음 단계와 도구 사용을 상황에 따라 스스로 고릅니다. 정보가 불완전하고 예외가 많은 업무에서는 유용할 수 있지만, 비용과 오류 가능성도 함께 커집니다.

Anthropic(미국의 생성형 인공지능 서비스 개발 기업)의 에이전트 설계 가이드(개발자를 위해 쓰인 영문 문서)도 자율성이 높아질수록 비용과 오류가 쌓여 커질 가능성을 고려해야 하며, 가드레일과 샌드박스 테스트(실제 업무에 영향이 가지 않는 격리된 환경에서 미리 돌려 보는 것)가 필요하다고 설명합니다. 따라서 대부분의 사무 자동화는 단순한 단계부터 검증해도 늦지 않습니다.

근거 · Anthropic — Building Effective AI Agents(2024년 12월, 영문·개발자용 문서)

처음에는 이 세 단계면 충분합니다

STEP 1. AI가 초안·추천을 만듭니다 메일 문안, 회의 요약, 일정 후보처럼 결과를 보여 줍니다.

STEP 2. 사람이 근거와 영향을 확인합니다 날짜·금액·대상·외부 약속을 보고 승인하거나 고칩니다.

STEP 3. 되돌릴 수 있는 일만 자동 실행합니다 범위가 좁고 취소 가능한 행동부터 천천히 맡깁니다.

예를 들어 회의가 끝난 뒤 AI가 요약과 할 일 후보를 만드는 것은 1단계입니다. 팀장이 결정·담당자·기한을 확인하는 것이 2단계입니다. 확인된 항목만 업무 관리 도구(지라·아사나·노션 같은)의 ‘검토 대기’ 칸에 등록하는 것이 3단계가 될 수 있습니다. 고객에게 발송하거나 결제를 취소하는 일은 같은 방식으로 바로 넘기기 어렵습니다.

승인은 버튼 하나가 아니라 ‘검토할 수 있는 화면’이어야 합니다

사람을 중간에 넣는다고 안전해지는 것은 아닙니다. 검토자가 무엇이 바뀌는지, 어떤 근거로 추천됐는지, 실패하면 어디까지 영향을 받는지 볼 수 있어야 합니다. 그렇지 않으면 승인은 결국 ‘예’ 버튼을 누르는 형식 절차가 됩니다.

• 무엇을 실행하는지: 누구에게, 어느 채널에, 어떤 정보가 나가는지 보여 줍니다.

• 근거가 무엇인지: 요약의 원문, 추출한 숫자와 날짜를 바로 확인할 수 있게 합니다.

• 되돌릴 수 있는지: 취소·수정·다시 실행하는 방법과, 되돌릴 수 있는 제한 시간을 미리 정합니다.

• 언제 사람에게 넘길지: 금액, 개인정보, 외부 발송, 예외 상황은 자동 진행 대신 승인을 요구합니다.

자동화는 작은 성공을 쌓는 방식이 더 빠릅니다

처음부터 모든 업무를 연결하려 하면, 오류를 찾을 곳도 많아집니다. 먼저 한 가지 반복 업무에서 AI가 초안을 만들고 사람이 승인하는 흐름을 돌려 보세요. 어떤 오류가 자주 나는지, 검토에 얼마나 걸리는지, 되돌리기 어려운 행동이 무엇인지 기록합니다. 그다음에만 맡기는 업무의 종류와, AI가 직접 손댈 수 있는 범위를 넓히면 됩니다.

OpenAI의 에이전트 가이드도 취소나 민감한 변경처럼 되돌리기 어려운 행동은 실행 직전에 멈추고 사람의 승인을 받도록 설계하는 방식을 제시합니다. 자동화의 목적은 사람을 화면에서 없애는 것이 아니라, 사람이 판단해야 할 순간에 더 좋은 정보를 주는 데 있습니다.

근거 ·OpenAI — Guardrails and human review(영문·개발자용 문서)

좋은 자동화는 사람을 지우지 않습니다

사람의 손이 한 번 들어간다고 자동화가 실패한 것은 아닙니다. 오히려 그 한 번의 확인이 고객 메시지를 다시 보내는 일, 잘못된 일정을 되돌리는 일, 팀원에게 설명하는 일을 막아 줄 수 있습니다.

처음에는 AI가 제안하고 사람이 결정하게 하세요. 그 과정에서 반복되는 안전한 일만 자동으로 넘기면 됩니다. 그렇게 만든 자동화가 결국 더 오래 쓰이고, 사람도 덜 피곤합니다.

출처 및 참고
• Anthropic, Building Effective AI Agents (2024년 12월, 영문·개발자용 문서) — 단순한 시스템부터 시작하고, 에이전트 자율성의 비용·누적 오류·가드레일을 고려하라는 가이드
• OpenAI, Guardrails and human review (영문·개발자용 문서) — 민감하거나 되돌리기 어려운 행동 전에 사람의 승인과 검증 장치를 두는 공식 가이드