토큰화
ai conceptko
GenRank Score
16.9
텍스트를 의미 있는 작은 단위(토큰)로 분리하는 과정으로, 자연어 처리 모델의 전처리 단계에서 사용됩니다.
Also Known As
토큰화
1 question•1 category
Score
16.9
Rank
#8
Score History
Loading score data...
Average Rank
#6.0
Median
#6
Range
#6–#6
Rankings by Model
GPT-5.4 mini #6