토큰화

텍스트를 의미 있는 작은 단위(토큰)로 분리하는 과정으로, 자연어 처리 모델의 전처리 단계에서 사용됩니다.