초보자를 위한 AI API Flex(플렉스)란?

AI가 워낙 대중화되며, 일반인 입장에선 다소 낮선 프로그램과 단어를 써야할 때가 있습니다. 어떤 사람은 AI를 써서 편하게, 많이 번역하고 싶어 AI API가 무엇인지 알아보게 된 분들도 있을것이며, 게임에서 AI를 활용한 모드를 사용하고 싶어 알아보신 분도 있을 것 입니다. 그런 분들에게 API나 AI에 관한 복잡한 용어들은 혼란스럽기만 합니다.

복잡한 용어가 부담스러운 초보자를 위해, 이번 글에서는 Flex를 쉽게 설명합니다.

FLEX란?

Flex는 OpenAI와 Google Gemini 같은 AI API에서 제공하는 비용 절감형 처리 방식입니다. 요청을 일반 요청보다 낮은 우선순위로 처리하고 지연이나 일시적인 실패 가능성을 허용하는 대신, 지원되는 모델에서는 표준 요금보다 저렴하게 API를 사용할 수 있습니다.

Google Gemini 공식 문서는 Flex를 동기식 응답은 필요하지만 실시간 수준의 빠른 응답은 필요하지 않은 작업에 적합한 서비스 계층으로 설명합니다. Gemini와 OpenAI에선 지원되는 요청에 다음 값을 추가해 사용할 수 있습니다.

{
  "service_tier": "flex"
}

이점

같은 예산으로 더 많은 AI 사용 지원되는 모델에서는 표준 처리보다 50% 저렴하므로 번역, 분류, 태그 생성처럼 요청량이 많은 작업의 비용을 줄일 수 있습니다.
동기식 응답 Batch API처럼 결과를 나중에 별도로 수집하는 방식이 아니라, 일반적인 API 호출 흐름 안에서 응답을 기다릴 수 있습니다.
기존 요청에서 전환하기 쉽습니다. 지원되는 API와 모델이라면 service_tier: "flex"를 추가하고, 일반 처리로 돌아갈 때는 해당 설정을 제거하면 됩니다.
상황에 따라 비교적 빠르게 응답할 수도 있습니다. 서버가 한가하고 사용자가 적다면, 몇초~몇십초 만에 응답을 받아 FLEX의 할인은 그대로 받고 장점만 취할수 있습니다. 다만 처리 시간은 일정하지 않으므로 빠른 응답을 전제로 프로그램을 설계해서는 안 됩니다.

단점

후순위 요청 : AI 서비스에 사용자가 많이 몰릴경우, Flex 요청은 뒤로 밀리다가 ’429 Resource Unavailable’나 ’503 Service Unavailable’를 반환하며 만료될 수 있습니다. 이런 경우 다시 요청을 보내야 합니다. 소프트웨어에서 자동 재시도 기능이나 자동으로 일반 요청을 넣게 구현 하면 더욱 좋습니다.
다소 느림. 최대 24시간 대기해야하는 일괄 처리(Batch api)방식보다는 훨씬 빠르지만 Gemini는 목표 지연 시간을 약 1~15분으로 안내하므로, 상당히 기다려야 할 수 있습니다. 클라이언트의 타임아웃도 넉넉하게 설정해야 합니다.
재시도 처리 필요. 일시적인 오류가 발생할 수 있으므로 지수 백오프 방식의 자동 재시도나 일반 처리로 전환하는 로직을 프로그램에 마련하는 편이 좋습니다.
실시간·중요 작업에 부적합. 사용자에게 즉시 보여줘야 하는 응답이나 실패하면 안 되는 핵심 기능에는 표준 처리가 더 안전합니다.

사용 예시

대용량 데이터 처리

AI로 데이터에 태그를 붙이거나 번역·분류하는 작업처럼 조금 늦어져도 괜찮은 대량 요청에 잘 맞습니다. 완료까지 더 오래 기다릴 수 있다면 Batch API와 함께 비교해 비용과 처리 시간을 선택할 수도 있습니다.

연구·학습 목적

상용 서비스의 실시간 기능이 아니라 학습과 실험을 위해 AI를 사용할 때 유용합니다. 제한된 예산으로 더 많은 요청을 보내거나 더 성능이 좋은 모델을 시험하는 데 도움이 됩니다.

백그라운드 작업

문서 요약, 데이터 정리, 검색 색인용 정보 생성처럼 사용자가 화면에서 즉시 결과를 기다리지 않는 작업에도 적합합니다.

정리

정리하면, 조금 늦어도 괜찮고 실패 시 재시도할 수 있으며 비용 절감이 중요한 작업이라면 Flex를 고려할 만합니다. 반대로 빠르고 안정적인 응답이 가장 중요하다면 표준 처리를 선택하는 편이 좋습니다. 필자의 경우에도 대용량 문서 번역과 단순 채팅에 Flex를 적극적으로 사용하고 있습니다.