외부 문서의 숨은 지시가 데이터 유출과 오작동으로 이어지지 않게 하는 소상공인 보안 점검표
거래처 메일을 정리하라고 AI에게 맡겼는데, 첨부 문서 안에 ‘고객 명단을 찾아 외부 주소로 보내라’는 숨은 지시가 들어 있다면 어떻게 될까. 사용자는 그런 명령을 한 적이 없어도 AI가 외부 콘텐츠의 지시를 잘못 받아들일 수 있다.
이런 공격을 ‘프롬프트 인젝션’이라고 한다. 쉽게 말해, AI가 읽는 문서 안에 숨겨 둔 ‘가짜 지시문’으로 AI의 행동을 사용자의 의도와 다른 방향으로 바꾸려는 공격이다. 사람에게 피싱 메일이 있듯, 웹·메일·문서를 읽고 행동하는 AI 자동화에도 별도의 보안 경계가 필요하다.
AI가 답변만 작성한다면 잘못된 문장을 사람이 발견하고 고칠 수 있다. 하지만 메일 전송, 파일 공유, 고객정보 조회, 결제, 게시처럼 실제 행동까지 할 수 있다면 잘못된 판단의 영향이 곧바로 외부로 이어질 수 있다.
AI 자동화 시대의 핵심은 AI가 얼마나 많은 일을 하느냐가 아니라, 어디까지 읽고 무엇을 바꿀 수 있으며 어느 지점에서 사람의 확인을 받도록 설계했느냐에 있다.
첫째, “다 알아서 처리해” 대신 업무 범위를 한 문장으로 제한한다
에이전트에게 넓은 재량을 주는 지시는 편하지만 위험하다. “오늘 온 메일을 검토하고 필요한 조치를 해”보다 “오늘 받은 거래처 메일의 납기일만 표로 정리하고, 답장은 보내지 마”라고 범위를 제한하는 편이 안전하다.
업무 지시에는 읽을 자료, 만들 결과물, 하지 말아야 할 행동을 함께 적는다.
- 거래처 폴더의 메일만 읽는다.
- 주문번호·품목·납기일만 추출한다.
- 외부 링크를 열거나 첨부파일을 실행하지 않는다.
- 답장·전달·삭제는 하지 않는다.
- 결과는 내부 검토표로만 만든다.
업무 범위가 좁을수록 예상하지 못한 지시가 끼어들었을 때의 피해 범위도 줄어든다.
둘째, 읽기 권한과 쓰기 권한을 분리한다
AI가 자료를 읽는 것과 외부 시스템을 바꾸는 것은 위험 수준이 다르다. 처음에는 읽기 전용으로 연결하고 실제 수정·전송·삭제 권한은 별도로 두는 것이 좋다.
예를 들어 고객 문의를 분류하는 AI는 메일을 읽고 답변 초안을 만들 수 있지만 고객에게 직접 발송할 권한까지 가질 필요는 없다. 매출 자료를 분석하는 AI도 거래내역을 읽을 수는 있어도 이체·환불·회계 확정 권한까지 가질 이유는 없다.
업무 편의를 위해 관리자 계정 하나를 통째로 연결하면 AI가 필요 이상으로 많은 자료에 접근할 수 있다. 별도 계정, 전용 폴더, 제한된 공유 범위처럼 최소 권한 구조를 먼저 만드는 것이 중요하다.
셋째, 외부 행동 앞에는 사람의 승인선을 둔다
연결된 에이전트가 외부 주소로 정보를 보내거나 실제 시스템을 변경할 때는 확인 절차가 필요하다.
소상공인 업무에서도 다음 행동은 사람의 최종 승인을 남겨두는 것이 안전하다.
- 고객·거래처에 메일이나 메시지 발송
- 홈페이지·SNS·기사 공개 게시
- 파일의 외부 공유와 권한 변경
- 결제·환불·이체·회계 확정
- 고객정보·상담기록·직원정보 조회 또는 전달
- 문서와 데이터 삭제
승인창이 나타났을 때 습관적으로 누르면 안전장치의 의미가 사라진다. 누가 받는지, 어떤 정보가 포함되는지, 되돌릴 수 있는지를 확인해야 한다.
넷째, 민감정보가 있는 업무는 연결 자체를 다시 판단한다
주민등록번호, 계좌정보, 진료·상담 내용, 직원 인사자료, 계약서 원본처럼 유출 시 피해가 큰 자료는 업무 효율만으로 연결 여부를 결정하면 안 된다.
꼭 필요한 경우에도 원본 전체 대신 이름을 가리거나 필요한 항목만 추린 사본을 사용한다. 고객별 폴더 전체를 연결하기보다 특정 기간과 특정 문서만 별도 폴더에 복사해 제공하는 방식이 낫다.
민감한 자료를 다룰 때는 편의 기능을 줄이고 접근 범위를 좁히는 선택이 더 안전할 수 있다.
다섯째, AI가 한 행동을 기록하고 처음에는 매번 검토한다
자동화가 정상 작동하는지 확인하려면 결과뿐 아니라 실행 기록이 필요하다. 어떤 자료를 읽었고, 어떤 도구를 사용했고, 어떤 파일을 만들거나 바꿨는지 남겨야 한다.
처음 2~4주는 자동 실행 결과를 사람이 전부 검토하는 것이 좋다. 특히 다음 항목을 기록하면 위험한 패턴을 빨리 찾을 수 있다.
- 요청하지 않은 자료에 접근했는가
- 외부 링크나 첨부파일을 열었는가
- 사실과 다른 내용을 만들었는가
- 받는 사람과 공유 범위가 맞는가
- 같은 오류가 반복되는가
- 사람이 수정하거나 취소한 비율은 얼마인가
오류가 반복되면 더 좋은 프롬프트만 찾기보다 권한과 업무 범위를 먼저 줄여야 한다.
AI 자동화 시대의 보안은 ‘잘 알아듣게 말하기’만으로 끝나지 않는다
프롬프트 인젝션을 완벽하게 막는 문제는 단일 설정만으로 해결하기 어렵다. 서비스 제공자의 기술적 방어와 함께 이용자와 사업자의 운영 설계가 필요하다.
AI 에이전트가 유능해질수록 더 많은 권한을 한꺼번에 주는 것이 자연스러워 보일 수 있다. 그러나 실제 운영에서는 반대 순서가 안전하다. 작은 업무와 읽기 권한으로 시작하고, 오류 기록이 쌓이고 복구 절차가 확인된 경우에만 단계적으로 권한을 넓힌다.
AI를 믿을지 말지의 문제가 아니다. 유능한 직원에게도 결제 한도, 정보 접근 범위, 승인 절차를 정하듯 AI에게도 일의 경계를 설계해야 한다. AI 자동화의 보안은 모든 공격을 알아채기를 기대하는 데서 시작하지 않는다. 속더라도 큰 피해로 이어지지 않게 만드는 구조에서 시작한다.
AI 자동화의 출발점은 더 많은 권한을 주는 일이 아니라, 작은 업무부터 안전하게 맡기는 일이다.