올해 말에 생각이 하나 정리됐다. 오래 미뤄둔 문제였다. 안 하고 있었다는 자각 우리는 데이터를 다루는 회사다. 기업, 입찰, 공사, 현장, 뉴스 같은 것들을 모아서 구조화하고 연결한다. 규모로 보면 적지 않고, 실시간으로 도는 파이프라인도 이미 몇 년째 돌고 있다. 그런데 AI는 거의 안 하고 있었다. 이유를 대라면 얼마든지 댈 수 있었다. 인력이 없다, 지금 급한 게 있다, 우리 데이터에 그게 필요한 단계가 아니다. 실제로 그렇게 말해왔던 것 같다. 올해 그 설명이 더는 안 통한다고 느꼈다. 빅데이터를 다룬다면서 AI는 안 한다고 말하는 건, 이제 방향의 선택이 아니라 못 하고 있다는 것의 다른 표현에 가깝다. 그리고 도구가 이 정도로 갖춰진 상황에서 인력이 없다는 건 사실 핑계다. 골라 쓰기만 하면 되도록 다 만들어져 있다. ...
1. 문제 발생 Quota discoveryengine.googleapis.com/documents exceeded. GCP에서 MLOps를 구축 중, RAG를 위한 Discovery engine의 데이터 최대 수량이 초과되었다는 경고를 받게 되었다. 기본 리밋은 100만건이지만 더 많은 데이터를 저장하기 위해서는 할당량 수정 요청이 필요하다. 2. 할당량 수정 요청 2-1. IAM & 관리자 -> 할당량 및 시스템 한도 2-2. 초과된 항목 선택 할당량 수정을 원하는 항목의 맨 오른쪽 메뉴 탭에서 할당량 변경을 선택할 수 있다. ...
1. Google Cloud Discovery Engine이란? Google Cloud Discovery Engine은 구글 클라우드 플랫폼에서 제공하는 검색 및 추천 서비스로, 웹사이트나 앱 내에서 사용자가 원하는 정보를 쉽고 빠르게 찾을 수 있도록 도와주는 서비스로 다음과 같은 특징을 가진다. 고급 검색 기능 : 단순 키워드 검색이 아닌, 사용자의 의도에 맞춰 의미를 파악하고 관련 콘텐츠를 제안하는 자연어 처리(NLP) 기반 검색을 지원 개인화된 추천 : 머신러닝 기반 추천엔진을 활용, 취향과 행동 패턴에 맞춘 추천 콘텐츠 제공 확장 가능성 : 다양한 규모와 범위의 콘텐츠에 대해 빠른 검색 및 추천 성능유지 2. 문제상황 Google cloud discovery engine을 활용해 rag를 고도화 시도하던 중, 기존 데이터베이스의 단순 question, answer 필드구조를 csv형태로 업로드하던 방식을 벗어나 metadata, description 필드를 구성하고자 하였다. content필드를 만족하는 데이터 구조를 구성하기 위해 기존 데이터셋을 discovery engine이 요구하는 특정 struct_value, string_value 타입의 jsonl 포맷으로 변환하는 과정에서 여러 에러를 만나게 되었다. ...