지난 편에서 정리한 다섯 가지 위험 패턴을 어떻게 가이드로 만들었는지에 대한 이야기다. 금지 목록의 한계 처음에는 하지 말아야 할 것들의 목록을 만들려고 했다. 그런데 쓰다 보니 이 방식이 잘 작동하지 않을 것 같았다. 이유는 두 가지다. 목록에 없으면 괜찮다고 판단하게 된다. 사람은 규칙을 적용할 때 목록을 조회하듯 쓴다. 새로 나온 도구, 처음 해보는 작업은 당연히 목록에 없고, 그러면 “금지된 게 아니니까"로 넘어간다. 정작 위험한 건 늘 새로운 상황이다. 목록은 항상 현실보다 늦다. AI 도구는 몇 달 단위로 할 수 있는 일이 바뀐다. 지난달에 만든 목록이 이번 달에 이미 부족하다. 목록을 유지보수하는 속도가 도구가 변하는 속도를 못 따라간다. ...
AI 도구를 개발팀 밖으로 열면서 제일 오래 고민한 게 보안이었다. 한 달쯤 지나 다들 도구에 익숙해졌을 때 전사 가이드를 한 번 돌렸는데, 그 내용을 두 편으로 정리해둔다. 문제의 성격 AI 코딩 도구가 이전 도구들과 다른 지점은 하나다. 코드를 작성하고 실행할 권한을 준다는 것. 기존에 비개발 직군이 쓰던 도구들은 대체로 만들어진 기능 안에서만 움직였다. 스프레드시트로 할 수 있는 사고의 최대치는 파일 하나 날리는 것이었다. 그런데 지금은 파일을 읽고, 스크립트를 돌리고, 네트워크로 나가고, 서버에 접속할 수 있다. ...
제품 실험을 주 단위로 돌려보려다 첫 주에 막혔다. 판정할 지표가 없었다. 있긴 한데 쓸 수가 없었다. 우리가 궁극적으로 올리고 싶은 건 결제인데, 결제는 주 단위로 보면 건수가 너무 적어서 어떤 변화를 줘도 통계적으로 구분이 안 된다. 이 문제를 어떻게 우회했는지, 그리고 그 과정에서 밟은 함정들을 정리해둔다. 회사마다 숫자는 다르겠지만 구조는 비슷할 것 같다. 왜 최종 전환으로는 판정할 수 없나 필요한 표본 수는 대략 이 식을 따른다. 유의수준 5%(양측), 검정력 80% 기준이다. ...
지난 편에 이어서. 1:1을 돌면서 들은 이야기를 직군별로 정리하다 보니 뚜렷한 경계가 하나 보였다. 시간이 절반으로 준 쪽 가장 극적으로 줄어든 건 콘텐츠·영상 제작 쪽이었다. 원래는 웹 채팅 화면에서 이것저것 물어가며 작업하던 걸, 작업 환경 안에서 바로 돌리는 방식으로 바꾸면서 흐름이 끊기지 않게 됐다. 이미지 프롬프트, 영상 프롬프트, 설명에 들어갈 문구까지 한 번에 이어서 만들 수 있게 되니 한 편 만드는 시간이 절반 이하로 줄었다는 이야기를 들었다. 마케팅 쪽에서도 비슷한 패턴이 나왔다. 2주에 한 번 회의 내용을 정리해서 성과 자료로 옮기는 작업, 인기 있는 콘텐츠 포맷을 참고해 기획안 초안을 잡는 작업. 이런 건 잘 먹혔다. ...
AI 도구를 개발팀 밖까지 열고 한 달이 지났다. 사용량을 집계하기로 하면서 고민이 하나 생겼는데, 그 이야기부터 해야 할 것 같다. 재기 시작하면 그게 평가가 된다 한 달을 굴려봤으니 현황을 알아야 했다. 누가 어떻게 쓰고 있는지, 어디서 막히는지. 그러려면 어떤 형태로든 숫자가 필요했다. 그런데 사용량을 집계한다고 공지하는 순간, 그 숫자는 자동으로 평가표로 읽힌다. 아무리 “현황 파악용"이라고 적어도 마찬가지다. 적게 나온 사람은 위축되고, 그러면 그 다음 달에는 숫자를 위해 쓰게 된다. 도구를 익히라고 한 일이 도구를 쓴 척하라는 일이 되어버린다. ...