토큰화

ai conceptko
GenRank Score
12.5

텍스트를 의미 있는 작은 단위(토큰)로 분리하는 과정으로, 자연어 처리 모델의 전처리 단계에서 사용됩니다.

Also Known As

토큰화
1 question1 category

Score History

Loading score data...
Average Rank
#10.0
Median
#10
Range
#10#10

Rankings by Model

Claude Haiku 4.5 #10