제품 실험을 주 단위로 돌려보려다 첫 주에 막혔다. 판정할 지표가 없었다. 있긴 한데 쓸 수가 없었다. 우리가 궁극적으로 올리고 싶은 건 결제인데, 결제는 주 단위로 보면 건수가 너무 적어서 어떤 변화를 줘도 통계적으로 구분이 안 된다. 이 문제를 어떻게 우회했는지, 그리고 그 과정에서 밟은 함정들을 정리해둔다. 회사마다 숫자는 다르겠지만 구조는 비슷할 것 같다. 왜 최종 전환으로는 판정할 수 없나 필요한 표본 수는 대략 이 식을 따른다. 유의수준 5%(양측), 검정력 80% 기준이다. ...
올해 말에 생각이 하나 정리됐다. 오래 미뤄둔 문제였다. 안 하고 있었다는 자각 우리는 데이터를 다루는 회사다. 기업, 입찰, 공사, 현장, 뉴스 같은 것들을 모아서 구조화하고 연결한다. 규모로 보면 적지 않고, 실시간으로 도는 파이프라인도 이미 몇 년째 돌고 있다. 그런데 AI는 거의 안 하고 있었다. 이유를 대라면 얼마든지 댈 수 있었다. 인력이 없다, 지금 급한 게 있다, 우리 데이터에 그게 필요한 단계가 아니다. 실제로 그렇게 말해왔던 것 같다. 올해 그 설명이 더는 안 통한다고 느꼈다. 빅데이터를 다룬다면서 AI는 안 한다고 말하는 건, 이제 방향의 선택이 아니라 못 하고 있다는 것의 다른 표현에 가깝다. 그리고 도구가 이 정도로 갖춰진 상황에서 인력이 없다는 건 사실 핑계다. 골라 쓰기만 하면 되도록 다 만들어져 있다. ...