RootrRootr

한 장으로 보는, 내 질문이 답이 되는 과정

Published 10/8/2026

ChatGPT랑 Claude에 똑같이 물었는데 왜 이렇게 답이 다를까

Oct 8, 2026 · @데미안

한 줄 요약

엄밀히 말 하면, 답을 쓰는 건 ChatGPT나 Claude 같은 앱이 아니라 그 안의 모델이에요 [1]. 모델은 내 글을 조각으로 잘라 읽고 다음에 올 말을 하나씩 골라 이어 붙이는데, 무엇을 언제까지 배웠는지가 모델마다 달라서 같은 질문에도 답이 달라져요 [1], [2], [3].

그림 1 · 앱(간판)과 모델(주방장) · 지식 시점은 출처 [1]

그림 1 · 앱(간판)과 모델(주방장)

같은 질문이 두 간판으로 들어가지만, 실제로 답을 짓는 건 각 간판 안의 모델입니다. Claude 앱처럼 한 간판 아래 모델이 여럿이면, 모델만 바꿔도 답이 달라집니다.

여담: 식당 간판과 주방장

같은 프랜차이즈 식당이라도 지점마다 맛이 다릅니다. 간판은 같은데 주방장이 다르기 때문이죠. ChatGPT나 Claude라는 이름은 간판이고, 그 안에서 요리를 하는 모델이 주방장입니다. 간판이 같다고 주방장까지 같은 건 아니고, 같은 간판 아래에서 주방장이 바뀌기도 합니다. 간판만 보고 「여기 음식은 늘 이렇다」고 말하기 어려운 이유입니다.

더 알고 싶다면: 「생성」이란 말의 뜻

생성형 AI의 「생성」은 저장된 답을 꺼내 오는 게 아니라, 그 자리에서 다음 조각을 하나씩 골라 만들어 낸다는 뜻입니다 [3]. 그래서 같은 모델에 같은 질문을 두 번 넣어도 답이 조금씩 달라질 수 있어요. 모델이 다르면 달라지는 폭이 훨씬 커지는 것이고요.

이런 일이 생겨요

거래처에 보낼 안내문을 쓰다가, 같은 부탁을 ChatGPT와 Claude에 똑같이 넣어 본 적 있나요? 한쪽은 길고 공손하게, 다른 쪽은 짧고 단정하게 써 줘요. 담긴 내용이 조금씩 다를 때도 있죠. 그럼 어느 쪽을 믿어야 할지 헷갈려요.

같은 회사가 만든 모델끼리도 아는 범위가 달라요. Anthropic이 공개한 표를 보면, Claude Haiku 4.5가 믿을 만하게 아는 범위는 2025년 2월까지이고 Claude Sonnet 5.5는 2026년 6월까지예요 [1]. OpenAI가 gpt-oss라는 모델을 공개한 건 2025년 8월이에요 [2]. 그러니 「gpt-oss가 뭐야?」라고 물으면 Haiku 4.5는 모르거나 틀린 답을 할 가능성이 크고, Sonnet 5.5는 답할 수 있는 시점의 모델이에요 [1], [2]. 같은 회사, 같은 질문이어도 안에 든 모델이 다르면 답이 갈릴 수 있는 거예요.

그림 2 · 지식 마감 시점은 출처 [1], gpt-oss 공개 시점은 출처 [2] · 월 단위

그림 2 · gpt-oss 공개 시점

점선 왼쪽에서 끈기는 모델은 그 일을 배운 적이 없고, 점선을 지나 이어지는 모델은 배울 기회가 있었습니다. 같은 질문의 답이 갈리는 가장 단순한 이유가 이 한 줄에 있어요.

여담: 우주에서 돌아온 사람에게 묻다

2025년 2월에 우주로 떠난 사람과 2026년 6월에 떠난 사람이 있다고 해 봅시다. 둘 다 떠난 뒤로는 지구 소식을 하나도 못 들었어요. 둘에게 「2025년 8월에 무슨 일이 있었지?」라고 물으면, 다섯 달 앞서 떠난 사람은 모를 수밖에 없습니다. 문제는 그 사람이 「모른다」고 말하지 않고, 떠나기 전까지 알던 것으로 그럴듯한 답을 지어낼 때입니다. 모델도 마찬가지예요. 지식 마감 시점(knowledge cutoff)은 그 모델이 우주선에 오른 날짜입니다 [1].

더 알고 싶다면: 「믿을 만하게 아는」과 「훈련 종료」는 다릅니다

Anthropic은 「믿을 만한 지식 마감」과 「훈련 데이터 마감」을 나눠 적습니다 [1]. 마감 직전 몇 달의 글은 양이 적어 모델이 어설프게 배우기 때문이에요. 신문을 발행 당일 한 번 읽은 것과, 그 다음 달까지 해설기사와 후속 보도를 여러 번 읽은 것의 차이라고 보면 됩니다. 그래서 마감 직전의 일은 모델이 알고는 있어도 헷갈리기 쉬워요.

왜 그럴까요

먼저 이름부터 정리할게요. 우리가 여는 건 ChatGPT·Claude 같은 앱이에요. 그 안에서 실제로 글을 받아 답을 계산하는 건 LLM(Large Language Model, 대규모 언어 모델)입니다 [3]. Claude만 해도 Haiku·Sonnet·Opus처럼 고를 수 있는 모델이 여럿이고, 모델마다 아는 시점과 성능이 달라요 [1].

ChatGPT 안의 모델은 회사 서버 안에 있어서 속을 볼 수 없어요. 대신 만든 회사가 모델을 통째로 공개해 누구나 들여다볼 수 있는 공개 모델이 있어요. OpenAI가 2025년에 내놓은 gpt-oss-20b가 그런 모델이에요 [2]. 이런 모델이 받은 글을 다루는 순서는 대략 이래요.

  1. 조각으로 자르기.

문장을 글자 단위가 아니라 자주 함께 나오는 글자 묶음, 곧 조각(토큰)으로 잘라요 [4]. gpt-oss는 이런 조각을 20만 개 넘게 담은 목록을 써요 [2]. 조각의 경계는 글자나 단어의 경계와 다를 수 있어요 [4]. 같은 내용이어도 언어에 따라 조각 수가 크게 달라서, 영어보다 훨씬 많은 조각으로 잘리는 언어도 있어요 [5].

  1. 번호 붙이기.

조각마다 그 목록에서 몇 번째인지 번호가 붙어요 [2], [6].

  1. 숫자 묶음으로 바꾸기.

번호마다 숫자 묶음이 따라 나와요. gpt-oss-20b는 조각 하나를 숫자 2,880개짜리 묶음으로 다뤄요 [2].

  1. 다음 말 고르기.

이 숫자들로 계산해서 다음에 올 조각을 하나씩 골라 이어 붙여요 [3].

그림 3 · 원문의 네 단계를 그림으로 · 숫자는 출처 [2], [4], [6]

그림 3 · 원문의 네 단계를 그림으로 [2], [4], [6]

네 단계는 한 번으로 끝나지 않아요. 조각 하나를 고르면 그 조각을 끝에 붙이고 처음부터 다시 도는 일을 답이 끝날 때까지 반복합니다 [3]. 긴 답일수록 이 순환이 수백 번 도는 셈이에요.

여담: 가위로 직접 잘라 보기

조각 내기는 사전에 있는 단어로 나누는 게 아니라, 배운 글에서 자주 붙어 다니는 글자 묶음을 하나의 조각으로 삼는 방식이에요 [4]. 그래서 자주 나오는 단어는 통째로 한 조각이 되고, 드문 단어는 여러 조각으로 쪼개집니다. 아래는 이 원리를 보여 주는 예시이고, 실제 잘리는 모양은 모델마다 다릅니다 [4], [6].

글자주 나오나잘리는 모양(예시)조각 수
the매우 자주the1
unbelievable보통un + believ + able3
Pneumonoultramicroscopic드물게Pne + umon + oul + tram + icro + scopic6

직접 확인해 보고 싶다면 OpenAI가 공개한 tiktoken 도구로 문장을 넣어 보세요 [6]. 조각의 경계가 단어의 경계와 얼마나 다른지 바로 보입니다.

그림 4 · 언어별 조각 수 차이는 출처 [5] · 칸 수는 예시

그림 4 · 언어별 조각 수 차이 [5] · 칸 수는 예시

한국어로 질문할 때 답이 영어보다 짧게 끈기거나 분량 한도에 먼저 닿는 느낌을 받았다면, 이 그림이 그 이유의 한 부분입니다. 실제로 내 언어가 몇 조각으로 잘리는지는 tiktoken [6] 같은 도구로 직접 확인할 수 있어요.

여기서 답이 갈리는 이유가 보여요. 어떻게 자르는지, 숫자 묶음이 어떤 모양인지, 다음 말을 어떻게 고르는지는 모두 모델이 무엇을 배웠는지로 정해져요 [2], [3]. 배운 글이 다르고 배운 시점이 다르니, 같은 질문을 넣어도 모델마다 다른 말을 골라요 [1], [3]. 앞의 Haiku 4.5 예도 배운 글이 gpt-oss 공개보다 앞에서 끊겼기 때문이에요 [1], [2].

하나 더 있어요. AI는 글자를 있는 그대로 읽는 게 아니라, 조각과 숫자로 바꾼 것을 바탕으로 다음 말을 골라 이어 붙여요 [4]. 그래서 글자 수를 세거나 단어 안의 글자를 세는 일에서 자주 틀려요 [7], [8]. 연구에서도 글자가 많을수록, 같은 글자가 여러 번 나올수록 더 많이 틀렸어요 [7]. AI가 보는 단위는 글자가 아니라 조각이거든요 [8]. 그러니 「딱 20자로 써 줘」처럼 글자 수가 중요한 문구는 받은 뒤 직접 세어 보세요.

여담: 딸기 속의 r은 몇 개일까

한때 인터넷에서 유행한 질문이 있어요. 「strawberry에 r이 몇 개야?」 정답은 3개인데, 여러 모델이 2개라고 답해 화제가 됐죠. 이유는 위와 같아요. 모델 앞에 놓인 건 글자 열 s-t-r-a-w-b-e-r-r-y가 아니라 조각 몇 개와 그 번호입니다 [8]. 안경을 벗고 멀리서 보면 단어의 모양은 알아봐도 글자를 하나씩 세기 어려운 것과 비슷해요. 직접 해 보세요. 긴 단어를 골라 특정 글자가 몇 번 나오는지 물어 보면, 어떤 모델은 맞히고 어떤 모델은 틀립니다 [7]. 최근 모델은 이런 질문에 글자를 하나씩 나열해 세는 방식으로 대응하기도 하는데, 그게 바로 「조각」이 아니라 「글자」로 다시 펼쳐 보는 우회로예요.

이렇게 해보세요

  1. 지금 쓰는 앱 안의 모델이 무엇인지 확인하세요.

같은 앱이어도 모델을 바꾸면 아는 범위와 답이 달라져요 [1]. 답을 비교할 때는 「어느 앱」보다 「어느 모델」인지를 먼저 봐요.

  1. 중요한 일은 모델을 정해 두고 쓰세요.

매번 다른 모델로 물으면 답이 왜 달라졌는지 알 수 없어요.

  1. 결정을 좌우하는 질문은 두 모델에 똑같이 물어 비교하세요.

두 답이 같은 부분은 검토의 출발점으로 쓰고, 다른 부분은 출처를 직접 확인할 자리로 표시해요. 어느 쪽이 맞는지는 답의 말투가 아니라 원자료로 가려요.

  1. 최근 일이나 정해진 값은 모델의 기억에 맡기지 마세요.

모델마다 시점을 다르게 추정할 수 있어요 [1]. 날짜가 적힌 자료나 원문을 붙여 주면 모델이 달라도 답이 덜 흔들려요.

그림 5 · 원문 세 번째 충고를 흐름도로

그림 5 · 두 답이 다를 때의 판정 흐름도

왼쪽 가지로 가더라도 방심은 금물이에요. 두 모델이 같은 글을 배웠다면 같은 틀린 답을 낼 수도 있기 때문입니다. 숫자와 날짜는 두 답이 일치해도 한 번 더 보세요.

보충: 질문을 하기 전 점검표

위 네 가지를 매번 떠올리기는 어려우니, 질문의 종류별로 무엇을 하면 되는지 표로 정리했어요.

질문의 종류예모델 기억에 맡겨도 되나붙여 줄 자료두 모델 비교
글 다듬기, 말투 바꾸기안내문 공손하게 고쳐 줘된다없음필요 없음
오래된 일반 지식복식부기가 뭐야대체로 된다없음헷갈리면
최근 일, 새 제품gpt-oss가 뭐야안 된다 [1]날짜 있는 기사나 공식 문서권장
정해진 값, 숫자, 조항올해 정부 지원 사업 한도 알려줘안 된다원문 공고, 약관권장
글자 수, 글자 세기딱 20자로안 된다 [7], [8]없음필요 없음, 직접 세기
돈이나 계약이 걸린 결정이 조건으로 계약해도 되나안 된다원자료 전부필수, 그리고 사람이 검토

여담: 두 증인의 진술이 다를 때

법정에서 두 증인의 진술이 엇갈리면 판사는 더 유창한 쪽을 믿지 않습니다. 증거를 찾죠. 두 모델의 답이 다를 때도 같습니다. 더 길게 쓴 쪽, 더 자신 있게 쓴 쪽이 맞는 게 아니에요. 두 증인이 같은 말을 하는 부분은 믿을 만한 출발점이 되고, 엇갈리는 부분이 바로 증거를 찾아야 할 자리입니다. 원문의 세 번째 충고는 이 재판 원칙을 그대로 가져온 거예요.

직접 해 보기

실습 1. 두 모델에게 똑같이 묻기.

내 일에서 하나를 골라 아래 틀을 채우고, 서로 다른 두 모델(앱이 달라도 되고, 한 앱 안의 다른 모델이어도 돼요)에 새 대화로 똑같이 보내 보세요.

[받는 사람]에게 보낼 [글 종류]를 써 줘.
꼭 들어갈 내용: [내용 1], [내용 2]
분량: [분량]

두 답을 나란히 놓고 확인해 보세요.

  • 두 답 모두에 들어간 내용은 무엇인가요?
  • 한쪽에만 있는 내용은 무엇이고, 그건 내가 준 정보에 있던 건가요?
  • 길이·말투처럼 내가 정하지 않은 부분은 어떻게 달랐나요?

실습 2. 자료를 붙여 다시 묻기.

실습 1에서 두 답이 달랐던 내용에 대해 원자료를 붙여 같은 두 모델에게 다시 물어보세요. 답의 차이가 줄었는지 비교해 보세요.

보충: 실습 기록표

두 답을 머릿속에서만 비교하면 길이와 말투에 눈이 가고 내용 차이는 놓치기 쉬워요. 아래 표를 복사해 채우면 내용부터 비교하게 됩니다.

확인 항목모델 A ( )모델 B ( )내가 준 정보에 있었나
필수 내용 1이 들어갔나예
필수 내용 2가 들어갔나예
한쪽에만 있는 내용
내가 주지 않았는데 들어간 숫자나 날짜아니오
분량(글자 수, 직접 센 값)
말투(공손함, 단정함 등)
자료를 붙인 뒤 달라진 점

네 번째 줄이 핵심이에요. 내가 주지 않은 숫자나 날짜가 답에 들어 있다면, 그건 모델이 배운 글에서 꺼낸 것이고 실제로 맞는지는 보증할 수 없어요 [3]. 출처를 확인할 자리를 모델이 알아서 표시해 준 셈입니다.

여담: 실습 3, 시점을 더듬어 보기

지식 마감 시점을 몸으로 느끼는 실습이 하나 더 있어요. 내 분야에서 지난 해에 일어난 일 하나를 골라, 달리 바꿔 가며 「이때 무슨 일이 있었지?」라고 물어 보세요. 어느 달부터 답이 흐려지거나 틀리기 시작하는지 보면, 그 모델의 마감 시점이 어디쉯인지 짐작할 수 있어요. 공식 표에 적힌 마감 날짜와 비교해 보면 더 재미있습니다 [1].

기억할 한 문장

답을 쓰는 건 앱이 아니라 그 안의 모델이고, 모델마다 배운 것과 배운 시점이 달라 같은 질문에도 다른 답을 해요 [1], [3].

그림 6 · 이 글 전체를 한 장으로

그림 6 · CH1-01 글 전체를 한 장으로

이 그림 하나만 기억해도 충분합니다. 가운데 두 상자의 세 줄이 서로 다르니, 양쪽 끝의 답도 달라지는 게 당연해요.

여담: 그래서 어느 쪽이 더 똑똑한가요

이 글을 읽고 나면 「그래서 ChatGPT와 Claude 중 뭐가 더 똑똑해?」라고 묻고 싶어집니다. 이 질문은 「어느 식당이 더 맛있어?」와 같아요. 주방장이 누구냐, 어느 메뉴냐, 언제 갔냐에 따라 답이 달라지죠. 제대로 된 질문은 「내 일에서, 이 모델이, 지금, 얼마나 믿을 만한가」이고, 그 답은 위의 실습을 해 본 사람만 가질 수 있습니다.

출처

[1] Anthropic, "Models overview," Claude Platform Docs, 2026. [Online]. Available: https://platform.claude.com/docs/en/models/overview (Accessed: Oct. 7, 2026).

[2] OpenAI et al., "gpt-oss-120b & gpt-oss-20b Model Card," arXiv, 2025, doi: 10.48550/arXiv.2508.10925.

[3] T. B. Brown et al., "Language Models are Few-Shot Learners," Advances in Neural Information Processing Systems, vol. 33, 2020, doi: 10.48550/arXiv.2005.14165.

[4] R. Sennrich, B. Haddow, and A. Birch, "Neural Machine Translation of Rare Words with Subword Units," Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, 2016, doi: 10.18653/v1/P16-1162.

[5] A. Petrov, E. La Malfa, P. H. S. Torr, and A. Bibi, "Language Model Tokenizers Introduce Unfairness Between Languages," Advances in Neural Information Processing Systems, vol. 36, 2023, doi: 10.48550/arXiv.2305.15425.

[6] OpenAI, "tiktoken," GitHub, 2026. [Online]. Available: https://github.com/openai/tiktoken (Accessed: Oct. 7, 2026).

[7] T. Fu, R. Ferrando, J. Conde, C. Arriaga, and P. Reviriego, "Why Do Large Language Models (LLMs) Struggle to Count Letters?," arXiv, 2024, doi: 10.48550/arXiv.2412.18626.

[8] X. Zhang, J. Cao, and C. You, "Counting Ability of Large Language Models and Impact of Tokenization," arXiv, 2024, doi: 10.48550/arXiv.2410.19730.