토큰화

ai conceptko
GenRank Score
16.9

텍스트를 의미 있는 작은 단위(토큰)로 분리하는 과정으로, 자연어 처리 모델의 전처리 단계에서 사용됩니다.

Also Known As

토큰화
1 question1 category

Score History

Loading score data...
Average Rank
#6.0
Median
#6
Range
#6#6

Rankings by Model

GPT-5.4 mini #6