"GPT-4가 제일 좋은 거 아닌가요?"#
가장 비싸고 강력한 모델이 항상 최선일까요? 상황에 따라 답이 달라집니다. 간단한 분류 작업에 GPT-4o를 쓰는 건 볼펜 하나 사러 트럭을 몰고 가는 것과 같습니다.
좋은 모델 선택은 내 문제에 맞는 모델을 고르는 것입니다.
LLM 평가의 세 축#
Diagram · Mermaid
세 가지를 동시에 최대화할 수는 없습니다. 프로젝트의 우선순위에 따라 균형을 잡는 것이 핵심입니다.
주요 벤치마크 지표#
MMLU (Massive Multitask Language Understanding)#
57개 학문 분야의 객관식 문제 정답률. 일반 지식·추론 능력을 측정합니다.
HumanEval#
코딩 문제를 주고 정상 작동하는 코드를 작성하는 비율. 개발 보조 도구 평가에 활용합니다.
MT-Bench / Chatbot Arena#
실제 대화 품질을 사람이 직접 평가하거나 더 강력한 LLM이 평가하는 방식입니다.
Diagram · Mermaid
벤치마크의 함정#
높은 벤치마크 점수가 실제 업무에서의 우수함을 보장하지는 않습니다. 모델이 벤치마크 문제를 학습 데이터에 포함시켜 '외워서' 높은 점수를 받는 벤치마크 오염 문제가 알려져 있습니다.
비용 구조 이해하기#
API 기반 LLM은 토큰 단위로 과금됩니다.
Diagram · Mermaid
모델별 비용 비교 (2024년 기준, 1M 토큰당 USD)
| 모델 | 입력 | 출력 | 특징 |
|---|---|---|---|
| GPT-4o | $2.5 | $10 | 최고 성능 |
| GPT-4o mini | $0.15 | $0.6 | 가성비 |
| Claude 3.5 Sonnet | $3 | $15 | 코딩·분석 강점 |
| Claude 3 Haiku | $0.25 | $1.25 | 빠르고 저렴 |
| Gemini 1.5 Flash | $0.075 | $0.3 | 초저가 |
용도별 모델 선택 가이드#
Diagram · Mermaid
속도 vs 성능 트레이드오프#
Diagram · Mermaid
실전에서는 복잡한 작업은 상위 모델, 반복·단순 작업은 경량 모델로 라우팅하면 비용을 크게 절감할 수 있습니다.
오픈소스 모델 선택지#
API 비용이 부담되거나 데이터를 외부로 보내기 어려운 경우 자체 서버에서 실행하는 오픈소스 모델을 고려합니다.
| 모델 | 파라미터 | 특징 |
|---|---|---|
| Llama 3.1 | 8B / 70B / 405B | Meta, 상업 이용 가능 |
| Mistral | 7B / 22B | 유럽산, 경량 고성능 |
| Qwen 2.5 | 7B~72B | 중국어·코딩 강점 |
| Phi-3 | 3.8B / 14B | Microsoft, 초경량 |
Diagram · Mermaid
실전 모델 선택 체크리스트#
프로젝트 시작 전 아래 항목을 점검하세요.
Text
□ 응답 품질이 최우선인가? → 최상위 모델 (GPT-4o, Claude 3.5)
□ 처리량이 많고 비용이 중요한가? → 경량 모델 (Haiku, Flash, 4o-mini)
□ 코딩·분석 작업이 주인가? → Claude 3.5 Sonnet
□ 긴 문서 처리가 필요한가? → Claude (200K), Gemini (1M)
□ 데이터를 외부로 보내기 어려운가? → 오픈소스 자체 호스팅
□ 한국어 품질이 중요한가? → GPT-4o, Claude (한국어 우수)
정리#
| 개념 | 내용 |
|---|---|
| 벤치마크 | MMLU, HumanEval 등 객관적 능력 측정 지표 |
| 벤치마크 오염 | 문제를 외워 점수를 높이는 문제점 |
| 토큰 과금 | 입력+출력 토큰 수 × 단가 = API 비용 |
| 모델 티어 | 최상위/중간/경량으로 용도에 따라 선택 |
| 오픈소스 | 자체 호스팅으로 비용·보안 문제 해결 |
이것으로 LLM 기초 시리즈를 마칩니다. 다음은 프롬프트 엔지니어링 시리즈 — 같은 모델에서 훨씬 더 좋은 결과를 뽑아내는 기술을 배웁니다.
