초코바

컴퓨터 용어에서 **토큰(token)**은 텍스트나 데이터에서 가장 작은 의미 있는 단위로, 컴퓨터가 처리할 수 있도록 쪼갠 조각을 의미해요. 쉽게 말하면, 문장을 잘게 나눈 '단어'와 비슷한 개념이라고 생각할 수 있죠.

예를 들어, 다음 문장을 봅시다.

"나는 사과를 먹었다."

이 문장을 컴퓨터가 처리하려면, 먼저 의미 있는 단위로 나누어야 해요. 이때 각 단위가 바로 '토큰'이 됩니다. 이 문장은 다음과 같은 토큰으로 나눌 수 있어요.

• "나는"
• "사과를"
• "먹었다"

각 단어가 하나의 토큰이 되는 거죠. 하지만 상황에 따라 토큰은 단어뿐만 아니라, 더 작은 단위인 문자나 기호일 수도 있어요. 예를 들어, 영어 문장 **"I am happy."**를 토큰화하면

• "I"
• "am"
• "happy"
• "."

여기서는 마침표도 하나의 토큰으로 인식되죠.

토큰은 컴퓨터가 텍스트를 이해하고 처리하는 데 필수적인 기본 단위라 생각하면 됩니다.