[GCP 배우기 5] BigQuery 마스터리: 비용 최적화부터 AI 통합, 최신 데이터 레이크까지

BigQuery는 단순히 SQL 쿼리를 빠르게 실행하는 데이터 웨어하우스를 넘어, 데이터 엔지니어링, 비즈니스 인텔리전스, 인공지능이 통합된 포괄적인 데이터 플랫폼으로 진화했습니다. BigQuery의 잠재력을 최대한 활용하기 위해서는 표면적인 기능을 넘어, 비용을 정밀하게 제어하고, 최신 AI 기능을 접목하며, 개방형 데이터 아키텍처를 구축하는 심층적인 이해가 필수적입니다.

이 글은 BigQuery를 전문가 수준으로 사용하고자 하는 분들을 위한 심층 가이드입니다. 예측 가능한 워크로드를 위한 비용 최적화 전략부터, SQL 쿼리 자체에 생성형 AI를 통합하는 혁신적인 기능, 그리고 데이터 사일로를 허무는 최신 데이터 레이크하우스 구축법까지, BigQuery를 진정으로 마스터하기 위한 핵심 고급 기능들을 상세하게 탐구합니다.

---

5.1. BigQuery 비용 최적화 및 예약

BigQuery는 사용한 만큼 비용을 내는 분석(On-demand) 모델과 컴퓨팅 용량(슬롯)을 예약하는 버전(Editions) 모델을 제공합니다. 지속적이고 예측 가능한 워크로드를 운영한다면, 버전 모델과 **약정 사용 할인(Committed Use Discounts, CUDs)**을 결합하여 상당한 비용을 절감할 수 있습니다.

• 약정 사용 할인 (CUDs): 1년 또는 3년 단위로 특정 양의 슬롯(BigQuery의 컴퓨팅 처리 단위)을 사용하겠다고 약정하면, 시간당 요금을 크게 할인받는 제도입니다. 이는 매일 실행되는 배치 작업이나 BI 대시보드처럼 꾸준한 분석 수요가 있는 기업에 최적입니다.
• 슬롯 관리 및 최적화: BigQuery Editions는 슬롯 관리를 통해 비용과 성능을 세밀하게 제어할 수 있습니다.
  • 유휴 슬롯 공정 공유 (Idle Slot Fair Sharing): 특정 프로젝트에 할당된 슬롯이 유휴 상태일 때, 해당 슬롯이 필요한 다른 프로젝트에서 자동으로 가져와 사용할 수 있게 하는 기능입니다. 이를 통해 조직 전체의 슬롯 활용률을 극대화할 수 있습니다.
  • 최대 슬롯 제한 설정 (Max Slot Limit): 특정 쿼리나 사용자가 과도한 슬롯을 점유하여 비용이 급증하는 것을 방지하기 위해, 프로젝트 또는 폴더 단위로 쿼리가 사용할 수 있는 최대 슬롯 수를 제한할 수 있습니다.

5.2. 고급 쿼리 및 데이터 전송

BigQuery는 데이터 분석 생산성을 높이기 위한 혁신적인 기능들을 지속적으로 도입하고 있습니다.

• 파이프 구문 (Pipe Syntax |>): 복잡한 SQL 쿼리를 여러 단계의 변환 과정으로 나누어, 마치 셸 스크립트의 파이프라인처럼 순차적으로 연결할 수 있는 새로운 구문입니다. 각 단계를 명확하게 분리하여 쿼리의 가독성과 재사용성을 획기적으로 높여줍니다.
• SQL

   

  -- 기존 방식
  SELECT column3 FROM (SELECT column2 AS column3 FROM table1);
  
  -- 파이프 구문 방식
  table1 |> SELECT column2 AS column3 |> SELECT column3;
  

• Gemini를 활용한 데이터 준비: BigQuery의 데이터 캔버스나 Dataform과 같은 도구 내에서, 자연어 프롬프트를 사용하여 데이터 변환 로직을 자동으로 생성할 수 있습니다. 예를 들어 "email 열에서 도메인만 추출해 줘"라고 입력하면, Gemini가 해당 작업을 수행하는 정확한 SQL 함수와 표현식을 제안해 줍니다.
• 데이터 전송 서비스 (DTS): 코딩 없이 외부 SaaS 애플리케이션(Salesforce, Google Ads 등)이나 외부 데이터베이스(Oracle, PostgreSQL, MySQL 등)의 데이터를 BigQuery로 정기적으로 자동 수집하는 완전 관리형 서비스입니다. DTS는 전송된 데이터 양에 기반한 소비 기반 가격 모델을 채택하여, 초기 비용 없이 강력한 데이터 통합 파이프라인을 구축할 수 있게 해줍니다.

5.3. BigQuery ML 기능 통합

BigQuery ML은 데이터 분석가가 익숙한 SQL 구문을 사용하여 BigQuery 내에서 직접 머신러닝 모델을 만들고 실행할 수 있게 해주는 혁신적인 기능입니다. 최근에는 강력한 생성형 AI 모델들이 통합되어, SQL의 활용 범위가 더욱 확장되었습니다.

• 텍스트 생성 (ML.GENERATE_TEXT): SQL 쿼리 내에서 직접 Vertex AI의 Gemini와 같은 대규모 언어 모델(LLM)을 호출합니다. 테이블에 있는 고객 리뷰 텍스트를 요약하거나, 감성을 분석하거나, 제품 설명을 자동으로 생성하는 등의 작업을 데이터 이동 없이 수행할 수 있습니다.
• 구조화된 데이터 생성 (AI.GENERATE_TABLE): "2025년 서울 지역 월별 예상 스마트폰 판매량 데이터를 만들어 줘" 와 같은 자연어 프롬프트만으로 전체 테이블을 생성하는 강력한 기능입니다. 테스트를 위한 샘플 데이터나 시뮬레이션을 위한 가상 데이터를 신속하게 만드는 데 유용합니다.
• 임베딩 생성 (ML.GENERATE_EMBEDDING): 텍스트나 이미지 데이터를 수치 형태의 벡터(Vector)로 변환하는 '임베딩'을 생성합니다. 이는 단어, 문장, 이미지의 의미적 맥락을 포착하여, 단순한 키워드 매칭을 넘어선 의미 기반 검색의 기반을 마련합니다.

5.4. 벡터 검색 및 인덱스 (Vector Search & Index)

생성된 임베딩 벡터를 활용하여, 데이터 간의 의미적 유사성을 찾는 기술이 바로 벡터 검색입니다.

VECTOR_SEARCH 함수는 쿼리로 주어진 벡터와 테이블에 저장된 벡터들 간의 거리를 계산하여, 의미적으로 가장 가까운(유사한) 항목들을 찾아줍니다. 예를 들어, '가볍고 오래가는 노트북'이라는 텍스트를 임베딩으로 변환하여 검색하면, '초경량', '긴 배터리 시간' 등의 키워드가 포함된 제품들을 찾아낼 수 있습니다.

대규모 데이터셋에서 벡터 검색을 빠르게 수행하기 위해서는 벡터 인덱스가 필수적입니다. BigQuery는 TreeAH와 같은 효율적인 인덱스 유형을 지원하며, 벡터 인덱스를 생성하면 전체 데이터를 스캔하지 않고도 유사성 검색을 수십 배 이상 빠르게 처리할 수 있습니다.

5.5. 개방형 데이터 레이크 및 거버넌스

BigLake는 BigQuery의 강력한 분석 엔진을 Cloud Storage에 저장된 개방형 데이터 포맷까지 확장하는 스토리지 엔진입니다. 이를 통해 기업은 특정 플랫폼에 종속되지 않는 유연한 데이터 레이크하우스 아키텍처를 구축할 수 있습니다.

• BigLake 테이블: Cloud Storage에 저장된 Apache Iceberg, Delta Lake, Parquet, ORC 파일들을 마치 네이티브 BigQuery 테이블처럼 쿼리할 수 있게 해줍니다. 데이터는 개방형 포맷으로 Cloud Storage에 그대로 두면서, BigQuery의 세분화된 행/열 수준 보안 및 성능 가속화 기능을 동일하게 적용할 수 있습니다. 이는 데이터 중복을 피하고 여러 분석 엔진에서 데이터를 자유롭게 활용하는 기반이 됩니다.
• BigQuery Sharing (Analytics Hub): 조직 내부 또는 외부와 데이터를 안전하고 효율적으로 공유하기 위한 데이터 거래소 플랫폼입니다. 데이터 소비자는 데이터를 복제할 필요 없이 공유된 데이터세트에 대해 직접 쿼리를 실행할 수 있습니다. 제공자는 데이터 사용량을 추적하고, Egress 제어와 같은 강력한 거버넌스 기능을 통해 데이터가 허가된 프로젝트 외부로 유출되는 것을 방지할 수 있습니다.

---

관련 웹사이트 (URL)

• BigQuery Editions 및 약정 사용 할인: https://cloud.google.com/bigquery/docs/bigquery-cud?hl=ko
• BigQuery 데이터 전송 서비스(DTS) 개요: https://cloud.google.com/bigquery/docs/dts-introduction?hl=ko
• Vertex AI 모델로 텍스트 생성 (ML.GENERATE_TEXT): https://cloud.google.com/bigquery/docs/generate-text?hl=ko
• 벡터 검색 소개 (VECTOR_SEARCH): https://cloud.google.com/bigquery/docs/vector-search-intro?hl=ko
• BigLake 테이블 소개: https://cloud.google.com/bigquery/docs/biglake-intro?hl=ko
• Analytics Hub를 통한 데이터 공유 소개: https://cloud.google.com/analytics-hub?hl=ko

주요 용어 정리

• 슬롯 (Slot): BigQuery가 쿼리를 실행하는 데 사용하는 CPU, RAM, 네트워크 등 컴퓨팅 리소스의 묶음 단위입니다.
• 임베딩 (Embedding): 텍스트나 이미지와 같은 비정형 데이터를 컴퓨터가 이해하고 유사성을 계산할 수 있도록 밀집된 수치 벡터로 변환한 결과물입니다.
• 벡터 검색 (Vector Search): 키워드 일치가 아닌, 임베딩 벡터 간의 거리를 기반으로 의미적 유사성을 찾아내는 검색 기술입니다.
• 데이터 레이크하우스 (Data Lakehouse): 데이터 레이크의 유연성과 데이터 웨어하우스의 데이터 관리 및 ACID 트랜잭션 기능을 결합한 최신 데이터 아키텍처입니다.
• Analytics Hub: 데이터 자산을 안전하게 공유, 검색, 구독할 수 있도록 지원하여 조직 내외의 데이터 공유 및 협업을 촉진하는 BigQuery의 기능입니다.