화면을 직접 조작하는 AI: API 없는 시스템도 자동화할 수 있을까

3월 5일 OpenAI가 GPT-5.4를 내놓았습니다. 눈에 띄는 것은 컴퓨터 조작 기능이 기본으로 들어갔다는 점입니다. 화면을 보고, 마우스와 키보드로 프로그램과 웹사이트를 사람처럼 다룹니다. 데스크톱 조작 능력을 재는 OSWorld-Verified 평가에서 75.0%를 기록해 사람의 평균 성공률 72.4%를 넘었다고 합니다.

이 소식이 특히 반가운 곳이 있습니다. API가 없는 오래된 시스템을 쓰는 회사들입니다.

왜 중요한가

업무 자동화의 가장 큰 걸림돌은 "연결할 방법이 없다"는 것이었습니다. 오래된 ERP, 거래처의 발주 사이트, 공공기관 신고 화면은 사람이 직접 들어가서 입력하는 것 외에 방법이 없는 경우가 많습니다.

화면을 직접 다루는 AI는 이 문제를 돌아갑니다. 사람이 하던 대로 로그인하고, 메뉴를 누르고, 값을 입력합니다.

잘 맞는 업무

• 거래처 사이트 여러 곳에 같은 정보를 입력하는 일
• 시스템 A에서 조회한 값을 시스템 B에 옮겨 적는 일
• 정해진 화면에서 매일 같은 보고서를 내려받는 일

공통점은 절차가 정해져 있고, 결과를 확인하기 쉽다는 것입니다.

아직 조심해야 하는 이유

75%는 25%가 틀린다는 뜻

평가 점수가 사람 평균을 넘었다고 해도, 네 번 중 한 번은 실패한다는 의미입니다. 사람은 실패하면 알아차리지만, AI는 실패한 줄 모르고 완료했다고 보고할 수 있습니다.

느리고 비용이 든다

화면을 보고 판단하는 과정은 API 호출보다 훨씬 느리고 비쌉니다. API가 있다면 API를 쓰는 편이 항상 낫습니다.

화면이 바뀌면 흔들린다

대상 사이트의 디자인이 바뀌면 동작이 달라질 수 있습니다. 예전 방식의 매크로보다는 유연하지만, 확인 없이 믿을 수준은 아닙니다.

도입할 때의 순서

1. API가 있는지 먼저 확인합니다. 있다면 그쪽이 답입니다.
2. 되돌릴 수 있는 작업부터 맡깁니다. 조회와 내려받기가 입력과 제출보다 안전합니다.
3. 결과를 검증하는 단계를 넣습니다. 입력한 값이 실제로 저장됐는지 다시 조회해서 확인하게 합니다.
4. 제출 전에 사람이 확인합니다. 금액이 오가거나 외부로 나가는 작업은 최종 버튼을 사람이 누릅니다.

화면 조작 AI는 시스템을 새로 만들기 전까지의 다리 역할로 볼 때 가장 쓸모가 있습니다. 같은 작업이 매일 반복된다면, 장기적으로는 제대로 된 연동을 만드는 쪽이 비용이 덜 듭니다.

---

참고 자료

• GIGAZINE: OpenAI GPT-5.4