AI 도구를 개발팀 밖까지 열고 한 달이 지났다. 사용량을 집계하기로 하면서 고민이 하나 생겼는데, 그 이야기부터 해야 할 것 같다.

재기 시작하면 그게 평가가 된다

한 달을 굴려봤으니 현황을 알아야 했다. 누가 어떻게 쓰고 있는지, 어디서 막히는지. 그러려면 어떤 형태로든 숫자가 필요했다.

그런데 사용량을 집계한다고 공지하는 순간, 그 숫자는 자동으로 평가표로 읽힌다. 아무리 “현황 파악용"이라고 적어도 마찬가지다. 적게 나온 사람은 위축되고, 그러면 그 다음 달에는 숫자를 위해 쓰게 된다. 도구를 익히라고 한 일이 도구를 쓴 척하라는 일이 되어버린다.

그래서 집계 공지에 이 문장을 제일 위에 뒀다.

토큰 사용량 = 생산성, 절대 아닙니다.

이걸 한 줄로 못 박아두는 게 집계 방식을 정교하게 만드는 것보다 중요했다고 생각한다. 실제로 우리 개발팀 지표에서도 토큰 사용량은 배점 0%다. 그 이야기는 지표에 무게를 붙인 글에 따로 적었다.

다만 솔직하게 덧붙인 게 하나 있다. 지금은 자기한테 맞는 사용법을 찾기 위해 일단 많이 써봐야 하는 시기인 건 맞다는 것. 손에 익기 전에는 어차피 효율이 안 난다. 그래서 “많이 쓴 게 잘한 게 아니다"와 “지금은 많이 써봐야 한다"를 둘 다 적었다. 모순처럼 보이지만 둘 다 사실이라 둘 다 적는 게 맞다고 봤다.

1:1에서 물어본 것

집계가 끝나고 한 명씩 1:1을 잡았다. 미리 준비해달라고 부탁한 항목은 네 가지였다.

  • 한 달간 쓰면서 좋았던 점 / 아쉬웠던 점 / 의외였던 점
  • 내 업무 중 AI가 잘 먹힌 구간과 안 먹힌 구간
  • “이런 식으로 더 써보고 싶다” 하는 다음 달 실험 한 가지
  • (개발팀) 나는 어떤 개발자가 되고 싶고, AI 시대에 내가 가져갈 밸류는 무엇인가

두 번째 항목에는 괄호를 달아뒀다. **“잘 안 된 케이스가 더 중요하다”**고.

성공 사례는 굳이 안 물어도 알아서 공유된다. 슬랙에 자랑처럼 올라오고, 회의에서 언급된다. 반대로 실패 사례는 아무도 말하지 않는다. 자기가 못 써서 그런 것 같아서다. 그런데 조직 차원에서 진짜 필요한 정보는 그쪽이다. 어디서 안 먹히는지를 모르면 다들 각자 같은 벽에 혼자 부딪힌다.

네 번째 질문은 좀 무거웠는데, 이건 내가 답을 갖고 물은 게 아니었다. 나도 같은 질문을 계속 하고 있어서 그냥 같이 생각해보자는 쪽에 가까웠다.

페어링

집계 결과에서 사용량이 아주 적은 사람과 아주 많은 사람이 갈렸다. 이걸 어떻게 다룰지가 마지막 고민이었다.

적게 쓴 사람을 따로 불러 독려하는 건 아무리 부드럽게 해도 추궁이 된다. 그래서 미사용 인원과 고사용 인원을 짝지어주는 쪽으로 갔다. 다음 달에는 서로 옆에서 한 번씩 보게 하는 것이다.

이유는 단순하다. 나는 도구를 잘 쓰는 사람이지만 그 사람의 업무를 모른다. 같은 직군 동료는 업무를 안다. “그 작업이면 이렇게 시켜보면 돼요"라는 말은 내가 못 하고 옆자리 사람이 할 수 있다.

공지에는 이렇게 적었다.

1:1은 추궁이 아니라 페어링용입니다. 사용량 적게 나왔다고 걱정하실 필요 전혀 없어요.

그리고 실제로 그렇게 굴렸다. 여기서 말과 실제가 어긋나면 다음 번에는 아무도 솔직하게 말하지 않는다.

방향에 대해 적은 것

공지 마지막에 회사의 방향을 한 문단 넣었다.

우리가 가려는 방향은 AI 네이티브이고, 천천히 가든 빨리 가든 결국 다 같이 가게 된다는 것. 그러니 조급해하지 말라는 것.

이 문단을 넣은 이유는 도입 초기에 사람들이 가장 불안해하는 게 “내가 뒤처지고 있나"이기 때문이다. 그 불안은 학습을 도와주지 않는다. 오히려 남들 앞에서 모르는 걸 못 물어보게 만든다. 방향이 확실하다는 것과 지금 당장 잘해야 한다는 것은 다른 이야기고, 그 둘을 구분해주는 게 도입하는 쪽의 몫이라고 생각했다.

한 달 뒤에 남은 것

숫자보다 남은 건 이런 것들이었다.

도구를 주는 것과 쓰게 만드는 것은 완전히 다른 일이다. 계정을 열어주면 알아서 쓸 거라고 생각했는데 아니었다. 각자의 업무에 어떻게 꽂아 넣을지는 각자가 발명해야 하는 일이고, 그건 시간이 걸린다.

직군마다 결과가 크게 갈렸다. 어떤 업무에서는 소요 시간이 절반 아래로 줄었고, 어떤 업무에서는 한 달 내내 쓸 만한 방법을 못 찾았다. 이 차이가 능력 차이로 오해되면 안 되는데, 실제로는 업무 성격의 차이였다. 이 부분은 정리할 게 많아서 다음 편에 따로 적으려고 한다.

측정 설계보다 측정 이후의 태도가 중요했다. 어떻게 재느냐를 오래 고민했는데, 돌아보면 잰 다음에 그 숫자로 무엇을 하지 않을지를 정해두는 게 훨씬 중요했다.