AI에서 언어모델 종류에 대해 메모

◆ 언어모델의 종류

언어 모델에도 여러 종류가 있습니다! 각각의 특징과 목적에 따라 다양한 방식으로 분류될 수 있습니다. 가장 일반적으로 분류하는 방법 몇 가지를 설명해 드릴게요.

1. 학습 방식에 따른 분류

가장 중요하고 큰 분류 기준입니다.

• 통계 기반 언어 모델 (Statistical Language Models, SLM):
  • 설명: 가장 초기 형태의 언어 모델로, 방대한 텍스트 데이터에서 단어들의 출현 빈도와 패턴을 통계적으로 분석하여 학습합니다. 특정 단어 뒤에 어떤 단어가 올 확률이 높은지 등을 계산합니다.
  • 예시:
    • N-그램 모델 (N-gram Model): 가장 대표적인 통계 기반 모델입니다. 예를 들어, 2-그램(바이그램)은 두 단어의 쌍을, 3-그램(트라이그램)은 세 단어의 쌍을 분석하여 다음 단어를 예측합니다. "나는 (밥을) (먹었다)"에서 "나는" 다음에 "밥을"이 올 확률, "밥을" 다음에 "먹었다"가 올 확률 등을 계산하는 식입니다.
  • 한계: 긴 문맥을 이해하기 어렵고, 데이터에 없는 새로운 조합의 단어에 대해서는 예측이 어렵습니다 (희소성 문제). 복잡한 문법적, 의미적 관계를 파악하기 어렵습니다.
• 신경망 기반 언어 모델 (Neural Language Models, NLM):
  • 설명: 인공 신경망(Neural Network)을 사용하여 언어의 패턴을 학습합니다. 통계 기반 모델의 한계를 극복하고 더 복잡한 언어 현상을 모델링할 수 있습니다. 단어를 숫자로 표현하는 '임베딩(Embedding)' 개념을 도입하여 단어 간의 의미적 유사성을 파악할 수 있게 되었습니다.
  • 예시:
    • RNN (Recurrent Neural Network) 기반 모델: 순환 신경망을 사용하여 시퀀스(순서가 있는 데이터)를 처리하는 데 강점을 가집니다. 문장처럼 순서가 중요한 데이터를 다루는 데 적합합니다. LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 등이 여기에 해당합니다.
    • Transformer 기반 모델: 현재 가장 지배적인 신경망 아키텍처입니다. RNN의 순차적 처리 한계를 극복하고, '어텐션 메커니즘(Attention Mechanism)'을 통해 문장 내 모든 단어의 관계를 동시에 고려하여 학습합니다. 이로 인해 훨씬 더 긴 문맥을 효과적으로 이해하고 처리할 수 있습니다.
      • BERT, GPT, T5 등 대부분의 최신 대규모 언어 모델(LLM)이 트랜스포머 기반입니다.

2. 학습 목적/방향에 따른 분류

• 단방향 모델 (Unidirectional / Autoregressive Model):
  • 설명: 텍스트를 한 방향(주로 왼쪽에서 오른쪽)으로만 읽으면서 다음 단어를 예측하도록 학습됩니다. 주로 텍스트 생성에 특화되어 있습니다.
  • 예시: GPT (Generative Pre-trained Transformer) 시리즈. "오늘 날씨는 [맑다]"처럼, [ ] 안의 단어를 예측할 때 앞 단어들만 보고 예측합니다.
• 양방향 모델 (Bidirectional Model):
  • 설명: 텍스트의 왼쪽 단어와 오른쪽 단어를 모두 참고하여 문맥을 이해하도록 학습됩니다. 주로 문장 이해, 분류, 질문 답변 등 분석 작업에 특화되어 있습니다.
  • 예시: BERT (Bidirectional Encoder Representations from Transformers). "오늘 [ ]는 맑다"처럼, [ ] 안의 단어를 예측할 때 앞 단어 ("오늘")와 뒤 단어 ("맑다")를 모두 보고 예측합니다. 이를 통해 단어의 의미를 훨씬 정확하게 파악할 수 있습니다.
• 인코더-디코더 모델 (Encoder-Decoder Model):
  • 설명: 하나의 인코더(입력 처리)와 하나의 디코더(출력 생성)로 구성됩니다. 입력 시퀀스를 읽어서 압축된 정보(문맥 벡터)를 만들고, 이 정보를 바탕으로 출력 시퀀스를 생성합니다. 주로 번역, 요약 등 '입력을 다른 출력으로 변환'하는 태스크에 사용됩니다.
  • 예시: T5 (Text-to-Text Transfer Transformer), BART 등.

3. 규모에 따른 분류

• 소규모 언어 모델: 특정 작업이나 소규모 데이터셋에 특화되어 학습된 모델. 가볍고 빠르게 작동하지만, 범용적인 능력은 떨어집니다.
• 대규모 언어 모델 (Large Language Models, LLMs):
  • 설명: 수천억 개 이상의 파라미터(모델이 학습하는 변수의 개수)를 가지고 있으며, 인터넷 전체를 포함하는 방대한 양의 텍스트 데이터로 학습됩니다. 매우 복잡한 언어 패턴과 상식을 학습하여 다양한 종류의 언어 작업을 매우 높은 성능으로 수행할 수 있습니다.
  • 예시: GPT-3/4, Gemini, LLaMA, Claude, HyperCLOVA X 등. 최근 AI 분야에서 혁명적인 발전을 이끌고 있는 모델들이 대부분 여기에 해당합니다.

이 외에도 학습 데이터의 종류(일반 텍스트, 코드, 의료 텍스트 등), 파인튜닝(특정 작업에 맞춰 추가 학습) 여부 등에 따라 더 세분화될 수 있습니다. 하지만 위에 설명드린 분류들이 언어 모델의 종류를 이해하는 데 가장 핵심적인 내용이라고 할 수 있습니다.