기술 백서

GenRank: 대형 언어 모델 안에서 엔티티 가시성을 측정하는 방법론

버전 3.2•2026년 10월•v3.3은 2026년 11월 1일 발효•v4.0(한국어)은 2026년 10월 25일 발효•Simon Kim, Jeahong Lee•English

요약

이 문서는 대형 언어 모델(LLM)의 추천 출력 안에서 엔티티의 가시성을 정량화하는 체계적 틀인 GenRank 방법론을 설명합니다. AI를 통한 탐색이 소비자 행동과 시장 역학에 점점 더 큰 영향을 미치는 지금, LLM이 어떤 엔티티를 앞세우고 추천하는지 이해하는 일은 연구자, 마케터, 정책 입안자에게 중요해졌습니다. GenRank는 여러 모델에 같은 질문을 묻는 방식과 시장 가중 점수를 결합해 정규화된 가시성 지수를 만듭니다. 이 문서는 데이터 수집 규약, 점수의 수학적 틀, 모델 가중치 배분 절차, 알려진 한계를 상세히 적습니다.

1. 서론

1.1 배경

대형 언어 모델(LLM)이 정보를 찾는 주된 도구로 퍼지면서 소비자가 제품, 서비스, 브랜드를 찾고 평가하는 방식이 근본적으로 바뀌었습니다. 명시적인 관련성 신호로 순위를 매겨 결과를 보여 주는 전통적인 검색 엔진과 달리, LLM은 학습과 강화 학습 과정에서 익힌 패턴이 반영된 종합 추천을 생성합니다.¹

이 변화는 기회이자 과제입니다. LLM 출력에서 유리한 자리를 차지한 엔티티는 더 많이 노출되고 고려될 수 있는 반면, 추천에서 빠진 엔티티는 시장에서 보이지 않게 될 수 있습니다. 우리는 이 현상을 AI 매개 탐색 편향이라고 부릅니다.²

1.2 연구 목표

GenRank는 다음 연구 목표를 다룹니다.

여러 LLM 플랫폼에 걸쳐 엔티티 가시성을 측정하는 재현 가능한 틀을 세운다
실제 AI 사용 패턴을 반영하는 시장 가중 점수 체계를 만든다
학술 연구와 상업 연구를 위한 투명하고 열린 데이터셋을 만든다
추천 패턴과 시간에 따른 추세를 장기적으로 분석할 수 있게 한다

1.3 용어

엔티티: LLM 출력에서 식별하고 추적할 수 있는 특정 브랜드, 제품, 서비스, 조직 또는 개념.
가시성 점수: 순위를 만드는 통계입니다. 질문 단위로는 0~100(창의 모든 주에 모든 표면이 그 엔티티를 첫 번째로 든 경우가 100)이고, 카테고리 점수는 그 카테고리 질문들의 질문 단위 점수를 합한 값이라 상한이 없고 같은 카테고리 안에서만 비교합니다. 공개 결과는 순위이고, 점수·표본 수·신뢰구간은 데이터와 API에 있습니다.
시장 가중치: 각 LLM에 부여하는 계수로, 전 세계 AI 어시스턴트 사용량에서 차지하는 추정 점유율을 반영한다.

2. 데이터 수집

2.1 질문 설계

질문은 LLM에서 순위가 있는 추천 목록을 끌어내도록 설계합니다. 모든 질문은 다음 기준으로 검증합니다.

구체성: 정해진 카테고리나 용도를 겨냥해야 합니다
중립성: 유도하는 표현이나 브랜드 이름을 넣지 않습니다
재현성: 일관되게 목록 형태의 답을 끌어내야 합니다
시간적 안정성: 갱신 주기가 바뀌어도 유효해야 합니다

2.2 질문 파라미터

승인된 질문은 각 활성 LLM의 공식 API로 보냅니다. 디코딩 파라미터는 일부러 바꾸지 않습니다. 한 번의 질문은 모델이 실제로 사용자에게 하는 말의 표본이며, 온도를 고정하면 어떤 사용자도 받지 못하는 것을 재게 됩니다. 변동은 숨기지 않고 인정합니다. 표준 주기에서는 질문과 모델의 쌍마다 한 번 묻고, 파이프라인은 반복 표본도 지원합니다. 표본 주기에서는 쌍마다 여러 번 묻고 그 흩어짐을 숨기지 않고 신뢰구간(§4.5)으로 공개합니다.

temperature: 공급자 기본값

top_p: 공급자 기본값

max_tokens: 공급자 기본값

frequency_penalty: 공급자 기본값

모델당 표본: 1 (표본 주기에서는 3)

웹 검색. 질문은 모델의 자체 웹 검색을 켠 상태로 보냅니다. 측정하는 모델은 모두 실시간 웹 검색을 지원하기 때문에 골랐고, 그래서 추천이 학습 시점의 지식이 아니라 현재 정보를 반영합니다. 이 조건이 활성 모델 구성을 제한하며(§4.2), 변경 기록(§6)에 버전으로 남습니다.

2.3 엔티티 해석

각 답변은 거기 적힌 항목으로 나누고, 항목마다 정식 엔티티에 대응시킵니다. 엔티티는 언어 안에서 해석합니다. 같은 브랜드라도 영어 답변과 한국어 답변에서는 따로 순위가 매겨집니다. v3.3부터 절차는 다음과 같습니다.

무엇이 답인가: 각 항목을 답변 안의 역할로 분류합니다. 답은 질문에 대한 답으로 추천되거나 거명된 것입니다. 출처는 근거로만 인용되거나 찾아볼 곳으로만 가리켜진 것입니다(리뷰 사이트, 연구, 검색 플랫폼). 일반 항목은 이름 있는 대상을 묻는 질문에서 특정 이름이 아닌 것입니다(제품 종류, 성분, 기능, 조언 같은 것). 답만 순위에 올립니다. 질문이 종류(예: 말 품종)나 플랫폼·출처를 물으면 그것이 답입니다. 출처와 일반 항목은 모델이 돌려준 웹 인용과 함께 답변마다 기록하되 순위에는 넣지 않습니다.
어휘 정규화: 대소문자, 문장 부호, 공백을 정규화합니다.
별칭 대응: 검증된 별칭 데이터베이스를 관리합니다. 이름을 다른 실제 대상(모회사, 종목 코드만, 일반 명사)으로 보내는 별칭은 거부합니다.
일치 판정: 언급은 일치가 분명할 때만 기존 엔티티에 자동으로 대응시킵니다. 불확실한 일치는 언어 모델이 질문과 답변 본문을 보고 판정합니다. 그 카테고리에 처음 나온 이름, 별칭으로만 맞은 이름, 전에 거부된 적 있는 짝, 후보가 여럿인 경우, 중복일 수 있는 경우가 불확실한 일치입니다. 모든 판정은 기록되고, 거부된 일치는 다시 적용되지 않습니다. 같은 답변에 거명된 서로 다른 항목은 결코 합치지 않습니다. 의심스러우면 새 엔티티로 셉니다. 잘못된 병합이 중복보다 나쁘기 때문입니다.
감사와 정정: 한 주기의 해석은 전부 감사할 수 있고, 모든 정정은 원인과 함께 공개합니다(§6).

3. 점수 산정 방법

3.1 이론적 바탕

GenRank 점수 체계는 정보 검색 이론, 그중에서도 정규화 할인 누적 이득(nDCG) 지표의 로그 할인 원리를 가져왔습니다.³ 낮은 순위의 한계 가치가 줄어드는 것을 로그 감쇠로 모델링하되, 모든 언급이 0이 아닌 효용을 갖게 합니다.

3.2 수식

정의 3.1: 점수 함수

가중치 w_m인 모델 m이 엔티티 e를 순위 r에 두었을 때:

S(e, r, m) = [1 / (1 + log₁₀(r))] × w_m × 100

최종 GenRank 점수는 모든 질문 Q와 모델 M에 대해 합산합니다.

G(e) = Σ_q∈Q Σ_m∈M S(e, r_q,m, m)

3.3 점수 감쇠

로그 감쇠 함수는 순위마다 다음 상대값을 냅니다.

순위	원점수	상대값	감쇠
1	1.000	100.0%	-
2	0.769	76.9%	−23.1%
3	0.677	67.7%	−9.2%
5	0.588	58.8%	−8.9%
10	0.500	50.0%	−8.8%
20	0.435	43.5%	−6.5%

3.4 계산 예

“가장 좋은 생산성 앱은?”이라는 질문에서 엔티티 “Notion”이 다음 순위를 받았다고 합시다.

모델	가중치	순위	원점수	가중 점수
GPT-5.6 Luna	0.41	1	1.000	41.00
Claude Sonnet 5	0.30	2	0.769	23.07
Gemini 3.7 Flash	0.29	3	0.677	19.63
합계(질문 하나)				83.70

4. 모델 가중치 배분

4.1 방법

모델 가중치는 실제 AI 영향력의 서로 다른 면을 보는 세 가지 1차 자료를 합성한 지수에서 나옵니다.

소비자 시장 점유율(40%): Statcounter, SimilarWeb, 회사 공시의 월간 활성 사용자와 웹 트래픽
기업 도입(35%): 업계 보고서의 도입 지표와 API 매출 추정⁵
개발자 API 사용(25%): 통합 게이트웨이의 토큰 처리량⁶

4.1.1 가중치 도출(2026년 10월)

아래 각 요소는 재조정 시점의 최신 공개 수치에서 가져온 공급자 점유율을 세 공급자 활성 집합 안에서 정규화한 값입니다. ~ 표시는 출처가 부분 분해만 공개해 추정한 값입니다. 합성값이 3% 중요성 기준 아래인 공급자는 활성 집합에서 완전히 뺍니다(출처 아래 설명).

공급자	소비자(40%)	기업(35%)	개발자(25%)	합성
OpenAI	59.2%	30.7%	~25.2%	0.41
Anthropic	10.1%	45.5%	~41.4%	0.30
Google	30.7%	23.9%	~33.5%	0.29

소비자 출처: 주요 생성형 AI 챗봇의 Similarweb 웹 방문 점유율, 2026년 5~8월(추적 대상 전체 중 ChatGPT 53.9%, Gemini 27.9%, Claude 9.2%, Grok 2.4%, Perplexity 1.3%를 활성 집합 안에서 재정규화). 기업 출처: 2026년 중반 업계 보고서의 기업 LLM API 사용 점유율(전체 기업 사용 중 Anthropic 40%, OpenAI 27%, Google 21%. xAI와 Perplexity는 추정). 개발자 출처: 공개 통합 게이트웨이(OpenRouter)의 모델 제작사별 토큰 점유율, 2026년 6월. 주로 직접 API로 쓰이는 공급자의 점유율은 추정이며, 그래서 이 요소의 비중을 25%로 제한했습니다. 합성 = 0.40·소비자 + 0.35·기업 + 0.25·개발자, 소수 둘째 자리 반올림.

중요성 기준. 합성값이 3% 아래인 공급자는 뺍니다. 그 가중치에서 공개 점수에 미치는 영향은 반올림 오차 안에 들어가는데 측정 비용은 그렇지 않기 때문입니다. Perplexity(이전 다섯 공급자 집합 안에서 합성 0.01)와 xAI(0.03, 그리고 점수 영향 3% 미만에 주기당 측정 비용의 약 5분의 1)는 2026년 10월에 활성 집합에서 빠졌습니다. 과거 측정 데이터는 보존되며, 둘 다 재조정 때마다 다시 평가합니다.

4.2 현재 배분(2026년 4분기)

다음 표는 §4.1.1에서 도출한 2026년 10월 기준 활성 모델 가중치입니다. 활성 집합은 추천이 학습 시점 지식이 아니라 현재 정보를 반영하도록 주요 공급자마다 웹 검색이 가능한 모델 하나로 제한합니다. 가중치는 주기적으로 재조정하며, 모든 변경은 변경 기록(§6)에 남깁니다.

공급자	모델	가중치
OpenAI	GPT-5.6 Luna	0.41
Anthropic	Claude Sonnet 5	0.30
Google	Gemini 3.7 Flash	0.29
합계(활성 모델 3개)		1.00

4.3 공급자별 분포

공급자별 가중치 합계:

41%

OpenAI

30%

Anthropic

29%

Google

4.4 한국어 인덱스 가중치(v4.0, 2026년 10월 21일 공지)

v4.0부터 한국어 전국 인덱스는 API 모델 셋 대신 다섯 개의 답변 표면을 측정합니다. 네이버와 구글 검색 결과 화면에 뜨는 AI 답변이 ChatGPT, Gemini, Claude에 더해집니다. 검색 표면과 AI 앱을 함께 다루는 자료가 없어 한국어 가중치는 두 묶음으로 구성합니다. 묶음 비율 검색 42 대 AI 앱 58은 시작값입니다. 재조정 시점에 AI 답변에 이르는 두 경로를 나눠 조사한 한국 자료를 찾지 못했고, 생기면 그 값으로 바꿉니다. 가중치는 같은 출처로 분기마다 다시 계산하며, 어느 표면이든 5점 넘게 움직이면 다섯 값을 모두 재계산값으로 바꾸고 중대한 변경으로 공지합니다.

검색 묶음(42). InternetTrend(비즈스프링)의 한국 검색 엔진 점유율, 즉 한국 웹사이트 방문 중 각 검색 엔진에서 들어온 비율을 2026년 7~9월 평균으로 두 표면 안에서 정규화했습니다. 각 표면이 우리 질문에 실제로 AI 답변을 보여 주는 비율(2026년 10월 18일: 네이버 AI 브리핑 94%, 구글 AI 개요 89%)은 가중치에 곱하지 않습니다. AI 답변이 없는 질문은 이미 언급 없는 회차로 점수에 반영되기 때문입니다. 노출률은 따로 공개합니다.

표면	검색 점유율(2026년 7~9월)	묶음 안 비율	가중치(× 42)
네이버 AI 브리핑	65.93%	70.44%	29.58
구글 AI 개요	27.67%	29.56%	12.42

AI 앱 묶음(58). §4.1의 합성 지수에서 소비자 요소를 전 세계 웹 방문 대신 한국 월간 활성 사용자로 바꾼 것입니다. 와이즈앱 리테일, 2026년 9월, 한국 스마트폰 사용자(ChatGPT 2,470만, Gemini 987만, Claude 404만)를 세 표면 안에서 정규화했습니다. 기업과 개발자 요소는 §4.1.1의 전 세계 수치입니다(기업: Menlo Ventures, The State of Generative AI in the Enterprise, 2025년 12월, 미국 기업 495곳 조사. 개발자: OpenRouter 모델 제작사 점유율, 2026년 6월, 추정은 ~ 표시). 한국 기업·개발자 자료가 생기면 그것으로 바꿉니다. Claude의 가중치가 한국 소비자 점유율보다 높은 이유입니다.

표면	한국 MAU(40%)	기업(35%)	개발자(25%)	합성	가중치(× 58)
ChatGPT	63.97%	30.67%	~25.17%	42.62%	24.72
Gemini	25.56%	23.88%	~33.47%	26.95%	15.63
Claude	10.46%	45.45%	~41.36%	30.43%	17.65

한국어 전국 가중치, v4.0. 합이 100이 되도록 최대 잔여 방식으로 정수로 반올림했습니다.

표면	수집 방식	가중치
네이버 AI 브리핑	네이버 검색 결과 화면	29
ChatGPT	OpenAI API, 자체 웹 검색	25
Claude	Anthropic API, 자체 웹 검색	18
Gemini	Google API, 구글 검색 그라운딩	16
구글 AI 개요	구글 검색 결과 화면	12
합계(표면 5개)		100

중요성 기준. Perplexity는 한국 월간 사용자 129만 명으로 네 앱 집합 안에서 합성 1.1이라 §4.1.1의 3% 기준 아래이며, 2026년 10월의 Grok·Sonar처럼 뺍니다. Microsoft Copilot(한국 월간 사용자 196만 명)은 Bing 결과 화면에서 수집할 수 있지만 AI 앱 집합 안에서 합성 1.9로 기준 아래입니다. A.(SK텔레콤, 110만 명)은 수집할 API도 결과 화면도 없습니다. 2026년 5월부터 한국에서 쓸 수 있는 Meta AI는 한국에서 가장 많이 쓰는 AI 앱 10개에 들지 않습니다. Copilot, 구글 AI 모드, Meta AI는 v4.0부터 가중치 없는 관측 열로 함께 측정해, 재조정 때 사용자 수 자료만이 아니라 실측 노출과 언급을 쓸 수 있게 합니다.

지역 인덱스.지역 질문(“강남 치과 추천해 줘”)은 표면 넷을 씁니다. Gemini 그라운딩은 검색 위치를 받지 않고 Perplexity는 제외되기 때문입니다. 네이버 AI 브리핑 42, ChatGPT 23, 구글 AI 개요 18, Claude 17. 출처와 산식은 위와 같고 묶음 비율만 검색 60 대 AI 앱 40으로 다릅니다. 사람들이 동네 업체를 어떻게 찾는지 조사한 한국 자료가 없어 둔 시작값입니다. AI 앱 묶음 안에서는 §4.1 합성값을 ChatGPT와 Claude로 다시 정규화합니다(58.3%와 41.7%). 2026년 10월 21일 지역 질문 50개(업종 5 × 지역 10)로 재 보니 네이버는 98%, 구글은 90%에서 AI 답변을 보여 전국 질문과 비슷했으므로 두 검색 표면 어느 쪽도 할인하지 않습니다.

4.5 신뢰성과 공개

4.5.1 표본과 신뢰구간

언어 모델은 같은 답을 두 번 돌려주지 않습니다. 2026년 7월과 8월 주기에 모두 물은 질문 994개에서 상위 10개 엔티티 중 평균 5.12개가 유지됐고(51.9%), 표본이 하나뿐이면 실제 변화와 표본 잡음을 가를 방법이 없습니다. 그래서 질문 단위 수치는 방향성으로 표시하고, 믿을 만한 신호는 집계된 것들입니다(§4.5.2).

v3.0부터 파이프라인은 질문과 모델 쌍의 반복 표본을 지원합니다. 표준 월간 주기에서는 쌍마다 한 번 묻고 점수는 구간 없이 공개합니다. 구간이 없으면 없다고 표시하지, 폭이 0인 확신으로 보이게 하지 않습니다. 표본 주기(n = 3, 2026년 9월 첫 실행)에서는 모델 기여를 가중 전에 평균 내어 점수가 모든 주기와 비교 가능하게 유지되고, 표본 사이의 흩어짐이 공개 신뢰구간이 됩니다.

Var = Σ w ² · s ² / n

CI₉₅ = 1.96 · √Var · 100

공개되는 이 구간은 넓습니다. 질문 하나 수준에서는 질문 단위 수치가 방향성에 머물 만큼 넓습니다. 원래부터 이만큼 넓었고, 표본 없는 주기는 그저 그것을 보고할 수 없었을 뿐입니다. 카테고리 랭킹은 많은 질문, 모델, 표본을 합치므로 그만큼 좁습니다.

4.5.2 언급률이 1차 지표

모델 답변 안의 위치는 깨지기 쉬운 신호이고, 모델이 그 엔티티를 언급했는지 자체가 튼튼한 신호입니다. 그래서 GenRank는 전체 (모델 × 표본) 시도 중 엔티티를 언급한 비율인 언급률을 1차 지표로 보고하고, 위치는 2차 품질 신호로 둡니다.

4.5.3 무엇을 재는지, 있는 그대로

수집 경로: 소비자용 채팅 화면이 아니라 공급자 API입니다. 두 표면은 상당히 다르며, 소비자가 채팅 창에서 보는 것을 잰다고 주장하지 않습니다.
모델 등급: 각 공급자의 소형·고속 등급으로, §4.2에 버전까지 적혀 있습니다. 최상위 모델이 아닙니다.
웹 검색: 자체 웹 검색을 켜고, 호출당 결과 3개로 제한합니다.
디코딩 파라미터: 공급자 기본값이며 일부러 지정하지 않습니다(§2.2).
버전 스탬프: 모든 점수에 그것을 만든 방법론 버전이 기록되므로 수치가 개정판 사이에서 말없이 비교되는 일이 없습니다.

4.6 독립성

GenRank는 순위에 오른 어떤 대상에게도 그 순위를 바꾸려는 목적의 서비스를 팔지 않으며, 앞으로도 팔지 않습니다. 어떤 대가도 점수의 높낮이나 방향에 따라 정해지지 않고, 잘못 측정된 대상의 정정은 언제나 무료이며 유료 서비스가 아닙니다.

이는 신용평가, 벤치마크, 감사 규제가 모두 기둥으로 여기는 분리를 따릅니다. 데이터와 진단을 공개하는 것은 정당하고, 측정 대상 속성을 움직이는 조언을 파는 것은 아닙니다. 중대한 변경과 정정 절차를 포함한 전체 정책은 따로 공개돼 있습니다. 방법론 변경과 정정은 §6에 기록합니다.

5. 한계

결과를 읽을 때 다음 방법론적 한계를 고려해야 합니다.

5.1 시간에 따른 변동

LLM 출력은 모델 업데이트, 미세 조정, 인간 피드백 강화 학습으로 시간이 지나며 달라질 수 있습니다. GenRank는 특정 시점의 스냅샷을 담으며, 고정된 진실로 읽어서는 안 됩니다.

5.2 확률적 표본

파라미터를 통제해도 LLM 출력에는 본래의 무작위성이 있습니다. 같은 질문이 실행마다 다른 순위를 낼 수 있습니다. 통계적 집계는 이 분산을 줄이지만 없애지는 못합니다.

5.3 시장 가중치 추정

모델 가중치는 공개된 시장 자료에서 나오며 실제 사용 패턴을 완전히 반영하지 못할 수 있습니다. 기업 API 사용은 2차 자료로 추정하므로 측정 오차가 있을 수 있습니다.

5.4 질문 설계 편향

질문의 선택과 표현이 추천 결과에 영향을 줄 수 있습니다. 질문 설계에는 어떤 용도가 중요하고 어떤 표현이 자연스러운지에 대한 연구자의 가정이 들어갑니다.

5.5 엔티티 해석 오류

자동 엔티티 해석은 잘못된 별칭 대응이나 이름이 비슷한 엔티티를 구분하지 못하는 오류를 낳을 수 있습니다. 2026년 10월 주기를 전수 감사해 질문 2,784개 중 2,299개에서 그런 오류를 찾아 고쳤습니다(§6 정정). 그 전 주기는 다시 감사하지 않았고 같은 종류의 오류가 있을 가능성이 큽니다.

6. 변경 기록과 정정

방법론은 버전으로 관리합니다. 아래 각 개정판은 날짜가 붙어 있고 바뀌지 않으며, 결과는 언제나 측정 시점에 유효했던 방법론 버전에 비추어 읽어야 합니다. 버전은 의미 번호(major.minor)를 따릅니다. 주 버전이 오르면 장기 비교 가능성이 깨지는 변경(예: 점수 산식)이고, 부 버전이 오르면 모델 구성, 주기, 가중치, 엔티티 해석이 바뀐 것입니다. 변경은 발효 전에 예상 크기와 함께 공지합니다. 모든 점수와 랭킹 스냅샷에는 그것을 만든 버전이 기록됩니다.

v4.02026년 10월 21일 공지 · 2026년 10월 25일 첫 주간 한국어 주기(일요일 03:00 KST)와 함께 발효announced

한국어 질문은 매주. 한국어 질문은 매주 측정합니다(주는 일요일 00:00 KST에 시작). 공개 랭킹은 4주 창과 신뢰구간을 씁니다. 영어 질문은 매월 그대로입니다. 매주의 카테고리 랭킹은 주가 끝난 뒤 바뀌지 않는 영구 페이지(/ko/w/{YYYY-WW}/c/{카테고리})로 남아, 공개된 숫자는 어느 주의 것이든 그 주소로 인용할 수 있습니다.
한국어 표면 다섯. 한국어 전국 인덱스는 네이버 AI 브리핑(29), GPT-6 Luna의 ChatGPT(25), Claude Haiku 5.5의 Claude(18), Gemini 3.6 Flash의 Gemini(16), 구글 AI 개요(12)를 측정합니다(§4.4에서 도출). Perplexity는 3% 중요성 규칙으로 뺍니다. Claude는 소비자 기본 모델 대신 같은 회사의 경량 모델로 재며, 기본 모델과의 100문항 비교를 분기마다 공개합니다.
관측 열. Microsoft Copilot(Bing 결과 화면에서 수집), 구글 AI 모드(구글 결과 화면), Meta AI(Muse Spark, API)는 가중치 0으로 한국어 인덱스와 함께 측정합니다. 답변은 모델별로 보이되 점수에는 들어가지 않습니다. 재조정 때마다 이 열이 실측한 값으로 3% 기준에 비추어 다시 평가합니다. Grok은 측정하지 않습니다.
검색 표면. 네이버 AI 브리핑과 구글 AI 개요는 질문 텍스트의 검색 결과 화면에서 수집합니다. AI 답변이 없는 질문은 언급 없는 회차로 세고, 각 표면이 답변을 보여 주는 비율을 공개합니다. 수집이 막히면 그 주는 그 열을 미측정으로 표시하고 나머지 가중치를 다시 정규화합니다. 언급 0으로 세지 않습니다.
영어 인덱스. 같은 세 공급자와 가중치(0.41, 0.30, 0.29). 모델 버전은 같은 날 GPT-6 Luna, Gemini 3.6 Flash, Claude Haiku 5.5로 옮깁니다.
질문 랭킹. 카테고리마다 질문을 사람들이 묻는 순서로 보여 줍니다. 공개된 두 입력을 카테고리 안에서 50:50으로 합칩니다. 검색 요소는 질문의 가장 강한 키워드의 최근 12개월 네이버 검색어 트렌드 지수로, “강남 치과” = 100으로 환산한 뒤 카테고리 안에서 순위 정규화합니다(키워드는 질문마다 공개). 추정 요소는 전국 패널의 각 API 표면에 같은 고정 프롬프트(버전 qr-1, 웹 검색 끔, 공급자가 받는 경우 온도 0)로 카테고리의 질문을 사용자가 묻는 빈도순으로 정렬하게 한 것입니다. 그 순서를 패널 가중치로 가중한 보르다 점수로 바꾸고 순위 정규화합니다. 모델의 원 출력은 저장합니다. 지역 질문은 검색 요소만 씁니다. 이것은 근거와 함께 보여 주는 추정이지 사용 기록이 아닙니다.
호출 경로. 공급자가 배치 API를 제공하면 같은 모델, 같은 파라미터, 같은 요청 본문으로 배치 경로로 보내고, 경로는 응답마다 기록합니다. 답변 하나는 웹 검색을 최대 다섯 번 쓸 수 있습니다.
질문군과 지역 인덱스. 한국어 우선 카테고리는 질문이 열 개씩으로 늘어납니다(의도 넷, 추천 질문에는 세부 주제 facet). 별도의 지역 인덱스는 검색량으로 고른 (카테고리, 지역) 쌍마다 “{지역} {업종}” 질문을 묻습니다. “{지역} {업종}”의 12개월 네이버 검색어 트렌드 지수가 “강남 치과”의 1% 이상이면 쌍에 넣습니다(2026년 10월 22일 기준 75지역 63카테고리 2,626쌍). 지역 질문은 표면이 검색 위치를 받으면 그 지역을 검색 위치로(ChatGPT와 Claude의 사용자 위치, 구글의 location), 아니면 질문 텍스트로 묻고, §4.4의 가중치로 네 표면에서 잽니다(네이버 AI 브리핑 42, ChatGPT 23, 구글 AI 개요 18, Claude 17). 엔티티는 지역 안에서 해석합니다. 한 도시의 병원과 다른 도시의 같은 이름 병원은 별개의 엔티티이고, 전국 브랜드의 지점은 브랜드에 연결하되 전국 점수에 더하지 않습니다. 지역 페이지는 첫 측정 주부터 답변, 언급된 엔티티, 임시 순위를 “측정 N주째, 방향성” 표시와 함께 보여 주고, 4주 창에서 서로 다른 엔티티 8개 이상(의료·법률 외 카테고리는 5개)과 두 표면이 함께 언급한 엔티티가 나올 때까지 검색 엔진에는 열지 않습니다. 의료, 법률, 금융 페이지에는 결과가 AI의 언급이지 검증된 추천이 아니라고 적습니다. 질문은 발효일부터 각 카테고리 페이지에 보입니다. 한국어 전국 질문은 2,437개(발효 전 1,386개), 지역 인덱스는 2,626쌍입니다. 지역 가중치는 §4.4에 있습니다.
수치 등급. 질문 단위 수치는 표면마다 주에 답변 하나, 공개 창에서는 네다섯 개에 기대므로 신뢰구간이 넓습니다(n = 4~5에서 약 ±21~27점). 사이트는 그런 수치를 “방향성”으로 표시하고 표본이 허락하면 구간을 보여 줍니다. 카테고리와 4주 집계가 판단의 기준입니다.
예상 영향: 측정하지 않습니다. 한국어 인덱스는 API 모델 셋에서 표면 다섯과 새 가중치, 주간 주기, 4주 창으로 옮겨 갑니다. GenRank는 이것을 나란히 잰 추정치로 이어 붙일 연속선이 아니라 §6이 말하는 주 버전 변경, 즉 비교 가능성이 끊기는 지점으로 다루며, v4.0에 대해서는 영향 크기 수치를 공개하지 않습니다(2026년 10월 22일 결정). 발효일 전후의 한국어 점수는 서로 비교할 수 없고, 모든 행에 버전이 찍히며 기록 차트는 그 단절을 표시합니다. 지역 인덱스는 비교할 이전 측정이 아예 없습니다.

v3.32026년 10월 6일 공지 · 2026년 11월 1일 주기와 함께 발효announced

답만 순위에 올립니다. GenRank는 AI 모델이 추천하는 이름 있는 대상, 즉 브랜드, 제품, 조직, 사람, 장소, 작품을 순위에 올립니다. 이름 있는 대상을 묻는 질문에서 일반 용어(제품 종류, 성분, 기능, 조언)는 더 이상 순위에 넣지 않습니다. 답변이 인용하거나 가리키기만 한 웹사이트, 매체, 플랫폼도 답으로 순위에 넣지 않습니다. 둘 다 답변마다 기록은 남깁니다(§2.3).
엔티티 일치. 불확실한 일치는 질문과 답변 본문을 보고 언어 모델 판정기가 결정하며, 모든 판정은 기록됩니다. 거부된 일치는 다시 적용하지 않고, 같은 답변의 서로 다른 항목은 합치지 않습니다(§2.3).
인용 저장. 각 모델이 인용한 웹 출처를 이제 답변마다 저장합니다.
질문군. 답이 특정 엔티티 없이 일반 용어뿐이던 질문 20개를 은퇴시키고, 각각 같은 카테고리의 브랜드 중심 질문으로 바꿨습니다. 어린이집과 반려동물 미용을 찾을 때 쓰는 플랫폼을 묻는 질문 두 개를 영어와 한국어로 더했습니다. 은퇴한 질문은 페이지와 기록을 유지하되 점수는 더 이상 어떤 랭킹에도 들어가지 않습니다.
질문군, 10월 20일 추가. 2차 검토에서 10월 답변에 특정 엔티티가 없던 질문 66개(영어 32, 한국어 34)를 더 찾았습니다. 제품 종류, 장소, 찾아보는 사이트와 앱만 나온 질문들입니다. 66개 모두 은퇴시켰습니다. 49개는 같은 카테고리의 브랜드 중심 질문으로 바꿨습니다. 나머지 17개는 지역 없이 동네 서비스(변호사, 병의원, 네일샵, 타투샵)를 묻는 질문이라 모델이 업체 대신 동네와 플랫폼을 답하므로, 대체 없이 은퇴시키고 지역 질문으로 돌아옵니다.
예상 영향. 이 규칙을 아래 오류 정정과 함께 적용한 2026년 10월 주기에서 측정했습니다.
- 카테고리 상위 10개는 평균 8.5개가 유지됐습니다
- 질문별 상위 10개는 83%가 유지됐습니다
- 점수 행의 13.7%가 제거됐습니다
- 점수 총량은 11.5% 줄었습니다
10월의 공개 점수는 이미 이 규칙으로 정정했으므로 10월과 11월은 같은 기준으로 비교됩니다. 10월 20일 2차 작업에서 1차가 놓친 점수 행 1,406개(남은 행의 2.2%, 점수 총량의 2.4%)를 더 제거했습니다. 이름 있는 대상을 묻는 질문의 일반 용어, 묻는 업체 대신 나온 장소, 찾아볼 곳으로 인용된 사이트와 앱, 사람을 묻는 질문에 답으로 나온 플랫폼과 회사입니다.
시점. 파이프라인 변경은 지금 배포됐으므로 10월 6일에 더한 질문 24개는 10월 7일에 v3.3으로 처음 측정됩니다. 다른 모든 질문은 11월 1일 주기에 v3.3으로 옮겨 갑니다.
이유: 랭킹에는 물은 질문에 대한 답만 있어야 합니다. 답변이 인용한 출처나 쓴 일반 용어는 추천이 아닙니다.

v3.22026년 10월current

공급자 가중치를 §4.1 합성 지수로 공개 시장 자료에서 다시 도출하고 전체 도출 과정을 공개했습니다(§4.1.1). OpenAI 0.30 → 0.41, Anthropic 0.25 → 0.30, Google 0.20 → 0.29.
Perplexity와 xAI를 활성 집합에서 뺐습니다. 도출된 합성값(0.01과 0.03)이 3% 중요성 기준(§4.1.1) 아래이며, 그 가중치에서는 공개 점수에 측정 가능한 영향 없이 측정 비용만 듭니다. Sonar와 Grok의 과거 측정 데이터는 보존합니다.
모델별 점수 기여를 이제 모든 점수와 함께 저장하므로 가중치 민감도 분석을 공개할 수 있습니다. 어떤 가중치 집합으로도 랭킹을 다시 계산할 수 있습니다.
이유: 가중치는 주장이 아니라 인용한 출처에서 재현할 수 있어야 합니다. 이전 배분은 공개된 모든 사용량 지표에 비해 xAI와 Perplexity를 크게 과대평가했습니다.

v3.12026년 10월

표준 주기는 질문과 모델 쌍마다 한 번 묻고, 표본 주기(n = 3)는 필요할 때 돌려 신뢰구간을 공개합니다(§4.5).
모델 구성을 공급자별 현재 소비자 등급으로 갱신: GPT-5.6 Luna(GPT-5.4 mini 대체), Claude Sonnet 5(Claude Haiku 4.5 대체), Gemini 3.7 Flash(Gemini 3.1 Flash Lite 대체). Grok 4.3과 Sonar는 그대로.
공급자 가중치는 그대로(OpenAI 0.30, Anthropic 0.25, Google 0.20, xAI 0.15, Perplexity 0.10). 은퇴한 모델의 과거 측정 데이터는 유지합니다.

v3.02026년 9월

반복 표본 도입: 한 주기에 질문과 모델 쌍을 n번 물을 수 있습니다. 2026년 9월 주기가 첫 표본 주기였습니다(질문군 일부에 n = 3).
신뢰구간을 표본 깊이가 허락할 때 공개합니다. 없는 구간은 없다고 표시하지 폭 0으로 보이게 하지 않습니다(§4.5).
언급률을 1차 지표로 채택하고, 답변 안의 위치는 2차 품질 신호로 둡니다.
모델 기여를 가중 전에 평균 내어 이전 모든 주기와 점수 비교가 가능하게 했습니다.

v2.22026년 7월

Gemini 3 Flash를 Gemini 3.1 Flash Lite(공급자의 후속 모델)로 교체. 가중치는 0.20 그대로.

v2.12026년 5월

활성 모델 구성을 주요 공급자당 하나씩, 웹 검색이 가능한 모델 다섯으로 줄였습니다(OpenAI, Anthropic, Google, xAI, Perplexity). 자체 실시간 웹 검색이 없는 모델은 은퇴시켰습니다.
측정 시 웹 검색을 켜서 추천이 학습 시점 지식이 아니라 최신 정보를 반영하게 했습니다.
측정 주기를 매주에서 매월(매달 1일, UTC)로 바꿨습니다.
공급자 가중치 재배분: OpenAI 0.30, Anthropic 0.25, Google 0.20, xAI 0.15, Perplexity 0.10.
이유: 데이터 최신성, 대표성 있는 공급자 구성, 비용 효율. 은퇴한 모델의 과거 측정 데이터는 장기 비교를 위해 보존합니다.

v2.02026년 1월

nDCG 방식 로그 감쇠로 점수 틀을 정식화(정의 3.1).
아홉 공급자 모델 16개의 시장 가중 활성 집합. 가중치는 분기마다 재조정.

v1.02025년 12월

첫 공개 방법론: 여러 모델에 묻고 시장 가중으로 집계. 매주 측정.

정정

공개된 숫자의 확인된 오류는 정정하고, 각 정정을 원인과 함께 여기에 기록합니다. 잘못 측정된 엔티티의 정정은 언제나 무료입니다.

2026년 10월 주기2026년 10월 6일 정정

검토. 2026년 10월 1일 주기의 질문·엔티티 점수 76,418개 전부를 감사했습니다. 각 점수를 질문, 엔티티 기록, 답변 본문에 비추어 언어 모델 검토자 둘이 확인했습니다. 하나는 언급이 맞는 엔티티에 돌아갔는지 보았고, 다른 하나는 중복, 인용 출처, 일반 용어를 찾았습니다. 표시된 오류는 모두 독립적으로 검증한 뒤 정정했고, 병합은 독립 확인 두 번을 요구했습니다.
찾아서 고친 오류.
- 동음이의, 형제 제품, 모회사처럼 잘못된 실제 대상에 돌아간 언급으로, 대개 잘못된 별칭 때문이었습니다. 예를 들어 스테이블코인 발행사 Circle이 커뮤니티 플랫폼 Circle.so로 집계돼 있었습니다. 점수 5,722개를 다시 귀속시키고, 빠져 있던 엔티티 1,135개를 만들고, 잘못된 별칭 1,622개를 지웠습니다.
- 중복 엔티티 기록 1,736개를 합쳤습니다(예: “Costco”와 “Costco Wholesale”).
- 점수 10,598개를 제거했습니다. 대부분 답으로 순위에 올라 있던 인용 웹사이트(예: rtings.com)와 일반 용어입니다.
영향. 질문 2,784개 중 2,299개가 바뀌었습니다. 카테고리 상위 10개는 평균 8.5개가 유지됐고 질문별 상위 10개는 83%가 유지됐습니다. 점수 총량은 11.5% 줄었습니다. 10월 기록 스냅샷도 그에 맞춰 다시 만들었습니다.
원인. 파이프라인에 결함 다섯이 있었습니다.
- 거부된 일치 목록을 대체 경로 하나에서만 참조했습니다
- 인용 링크를 엔티티로 추출했습니다
- 한 답변에 나온 서로 다른 제품을 한데 묶었습니다
- 모회사, 종목 코드만, 일반 명사를 가리키는 별칭을 받아들였습니다
- 일반 용어를 엔티티로 추출했습니다
다섯 모두 v3.3에서 고쳤습니다.
범위. 2026년 10월 전 주기는 다시 감사하지 않았습니다. 공개된 기록은 그대로이며 같은 종류의 오류가 있을 가능성이 큽니다.

7. 참고 문헌

Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730–27744.
Shah, C., & Bender, E. M. (2024). Envisioning Information Access Systems: What Makes for Good Tools and a Healthy Web? ACM Transactions on the Web.
Järvelin, K., & Kekäläinen, J. (2002). Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems, 20(4), 422–446.
Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
Menlo Ventures. (2025). 2025 Mid-Year LLM Market Update: Foundation Model Landscape + Economics.
OpenRouter. (2025). LLM Rankings: Model Usage Statistics.
Statcounter. (2025). AI Chatbot Market Share Worldwide.