2024. 10. 9. 00:15
반응형
컴퓨터 용어에서 **토큰(token)**은 텍스트나 데이터에서 가장 작은 의미 있는 단위로, 컴퓨터가 처리할 수 있도록 쪼갠 조각을 의미해요. 쉽게 말하면, 문장을 잘게 나눈 '단어'와 비슷한 개념이라고 생각할 수 있죠.
예를 들어, 다음 문장을 봅시다.
"나는 사과를 먹었다."
이 문장을 컴퓨터가 처리하려면, 먼저 의미 있는 단위로 나누어야 해요. 이때 각 단위가 바로 '토큰'이 됩니다. 이 문장은 다음과 같은 토큰으로 나눌 수 있어요.
- "나는"
- "사과를"
- "먹었다"
각 단어가 하나의 토큰이 되는 거죠. 하지만 상황에 따라 토큰은 단어뿐만 아니라, 더 작은 단위인 문자나 기호일 수도 있어요. 예를 들어, 영어 문장 **"I am happy."**를 토큰화하면
- "I"
- "am"
- "happy"
- "."
여기서는 마침표도 하나의 토큰으로 인식되죠.
토큰은 컴퓨터가 텍스트를 이해하고 처리하는 데 필수적인 기본 단위라 생각하면 됩니다.
반응형
'용어-메모' 카테고리의 다른 글
프로세서 (Processor), 프로세스 (Process) 설명 (2) | 2024.10.06 |
---|---|
공유기에서 WPS(Wi-Fi Protected Setup)란? (0) | 2024.09.11 |
콘텐츠 내 자동삽입광고