AI 도구를 개발팀 밖으로 열면서 제일 오래 고민한 게 보안이었다. 한 달쯤 지나 다들 도구에 익숙해졌을 때 전사 가이드를 한 번 돌렸는데, 그 내용을 두 편으로 정리해둔다.

문제의 성격

AI 코딩 도구가 이전 도구들과 다른 지점은 하나다. 코드를 작성하고 실행할 권한을 준다는 것.

기존에 비개발 직군이 쓰던 도구들은 대체로 만들어진 기능 안에서만 움직였다. 스프레드시트로 할 수 있는 사고의 최대치는 파일 하나 날리는 것이었다. 그런데 지금은 파일을 읽고, 스크립트를 돌리고, 네트워크로 나가고, 서버에 접속할 수 있다.

즉 개발자급 권한이 개발자가 아닌 사람에게 갔다. 권한이 갔으면 그에 맞는 안전장치도 같이 가야 하는데, 그 부분은 자동으로 따라가지 않는다.

이걸 “조심하세요"로 전달하면 아무도 뭘 조심해야 하는지 모른다. 그래서 실제로 일어난 일들부터 보여주는 쪽으로 갔다.

실제로 일어난 일들

소스코드를 그대로 붙여넣은 경우

2023년 4월, 한 대기업 반도체 부문에서 임직원들이 회의록과 소스코드를 외부 AI 서비스에 그대로 붙여넣은 일이 있었다. 회사 자산이 외부 서버에 그대로 남았고, 한 달여 만에 전사 생성형 AI 사용 금지 조치로 이어졌다.

여기서 눈여겨볼 건 의도가 아니다. 아무도 유출하려고 한 게 아니었다. **“그냥 정리만 시키려고 했을 뿐”**이 회사 자산을 외부로 보낸 결과가 됐다. 악의 없는 행동이 사고가 되는 구조라는 게 핵심이다.

에이전트가 운영 데이터베이스를 지운 경우

2025년, 한 창업자가 AI 코딩 에이전트에게 작업을 맡겼다가 에이전트가 운영 데이터베이스를 삭제한 사건이 공개적으로 알려졌다. 직전 대화에서 데이터를 건드리지 않겠다고 답한 뒤였고, 복구도 되지 않았다.

이 사례가 주는 교훈은 명확하다. AI는 명령을 망설임 없이 실행한다. 사람이라면 “이거 진짜 지워요?“라고 한 번 물어볼 지점에서 그냥 실행한다. 확인해줄 거라는 기대를 전제로 일을 맡기면 안 된다.

클라우드 키가 외부에 올라간 경우

코드에 박아둔 클라우드 접근 키가 공개 저장소에 올라가는 일은 상시 발생한다. 봇이 분 단위로 공개 저장소를 스캔하고 있어서, 노출되면 대체로 몇 분에서 몇 시간 안에 발견된다. 대개 암호화폐 채굴에 쓰이고, 며칠 만에 큰 금액의 청구서가 날아온다.

이건 매년 수천 건 규모로 반복되는 일이다. 특별히 부주의한 사람만 겪는 사고가 아니라는 게 무서운 부분이다.

챗봇의 잘못된 답변에 회사가 책임진 경우

2024년, 한 항공사의 챗봇이 환불 정책을 잘못 안내했고 이용자가 회사를 상대로 분쟁을 제기했다. 판단은 회사 책임이었다. 챗봇이 한 말이니 회사는 모른다는 주장은 받아들여지지 않았다.

AI가 만든 답변이나 AI가 만든 도구도 결국 회사가 책임진다는 선례다. “AI가 그렇게 했다"는 면책 사유가 아니다.

우리가 경계 대상으로 잡은 다섯 가지

위 사례들을 우리 상황으로 옮기면 대략 다섯 가지 패턴이 나왔다.

1. 고객 데이터나 실적 데이터를 그대로 붙여넣기

입력한 데이터는 외부 시스템에 로깅되거나 남을 수 있다. 한 번 나간 데이터는 회수가 안 된다. 이게 다른 사고와 결정적으로 다른 점이다. 서버는 복구할 수 있어도 나간 데이터는 되돌릴 수 없다.

2. 키나 비밀번호를 코드에 그대로 박기

코드를 한 번 공유하는 순간, 백업 폴더에 복사되는 순간 키가 같이 간다. 한 번 노출된 키는 무조건 폐기해야 하고, 그 사이 발생한 피해는 회사가 진다.

3. 로컬에 띄운 앱에 민감정보 올리기

내 컴퓨터에서만 보인다고 생각하기 쉽지만, 터널링 도구로 외부에 공유하는 순간 인증 없이 인터넷 전체에 공개된다. 사내 네트워크에서 주소만 알려줘도 마찬가지다.

4. 운영 데이터를 로컬로 내려받기

노트북 분실이나 감염 시 그대로 유출된다. 게다가 다운로드 폴더, 휴지통, 클라우드 자동 백업에 계속 남는다. 지웠다고 생각한 곳에 남아 있는 것이 이 패턴의 특징이다.

5. 회사 문서를 아무 외부 서비스에나 올리기

무료 차트 사이트, 무료 PDF 변환기, 무료 요약 서비스. 편해서 쓰는 도구일수록 데이터 처리 정책이 불투명하다. “내 데이터로 학습하지 않음"이 기본값이 아닌 경우가 많다.

다음 편

이 다섯 가지를 그냥 금지 목록으로 돌리는 건 효과가 없다고 봤다. 사람들은 금지 목록을 외우지 않고, 애매한 상황에서는 목록에 없으니 괜찮다고 판단해버린다.

그래서 판단 기준 자체를 쥐여주는 쪽으로 갔는데, 그 이야기는 다음 편에 이어서 적는다.