어제는 된다더니 오늘은 안 된다고?｜AI에게 같은 질문을 해도 답이 달라지는 이유

“어제와 오늘 똑같은 질문을 했는데 AI 답변이 달라졌다면 왜 그런 걸까요? 생성형 AI가 답을 만드는 방식과 질문 표현에 따라 결과가 달라지는 이유, 중요한 답변을 검증하는 방법을 알아봅니다.”

어제 AI에게 물었습니다.

“이 두 가지 중 어떤 걸 선택하는 게 좋을까?”

AI는 분명 A를 추천했습니다.

그런데 오늘 혹시나 해서 똑같은 질문을 다시 했더니 이번에는 B가 낫다고 합니다.

순간 이런 생각이 듭니다.

“잠깐, 어제는 A라며?”

계산기에 10×10을 두 번 입력했는데 한 번은 100, 다음에는 103이 나온다면 누구나 고장이라고 생각할 겁니다.

그런데 생성형 AI에서는 같은 질문을 다시 했을 때 문장은 물론이고 때로는 추천이나 판단의 방향까지 달라질 수 있습니다.

왜 그럴까요?

AI가 어제 한 말을 잊어버린 걸까요? 아니면 처음부터 아무렇게나 대답하고 있었던 걸까요?

답을 이해하려면 먼저 우리가 AI를 ‘말하는 검색창’처럼 생각하는 습관에서 조금 벗어날 필요가 있습니다.

AI는 정답 문장을 창고에서 꺼내오지 않는다

우리가 검색엔진에 어떤 단어를 입력하면 이미 존재하는 웹페이지를 찾아 보여줍니다.

하지만 생성형 AI가 문장을 만드는 방식은 다릅니다.

아주 단순하게 표현하면, 지금까지 주어진 문맥을 바탕으로 다음에 어떤 단어나 토큰이 이어질 가능성이 높은지를 계산하면서 문장을 만들어갑니다.

예를 들어,

“오늘 저녁에는 따뜻한…”

이라는 문장이 있다면 뒤에는 ‘국’, ‘차’, ‘음식’처럼 여러 표현이 이어질 수 있습니다.

AI에게는 처음부터 완성된 한 문장이 들어 있는 것이 아닙니다.

가능한 다음 표현들이 있고, 그 가운데 하나를 선택하면서 다음 문장으로 진행합니다.

그래서 생성형 AI의 답변은 자판기에서 정해진 음료 하나가 나오는 과정보다 여러 갈래의 길 가운데 하나를 따라가는 과정에 가깝습니다.

초반에 선택한 단어 하나가 달라지면 뒤에 이어지는 문장 전체가 달라질 수도 있습니다.

질문 한 글자만 바꿔도 결과가 달라질까?

더 흥미로운 연구가 있습니다.

2026년 메릴랜드대 연구진 등이 발표한 연구에서는 13개 대규모 언어모델을 대상으로 뜻은 같지만 표현만 다르게 바꾼 질문을 제시했습니다.

전체 평균 정확도만 보면 큰 차이가 없어 보이는 경우도 있었지만, 개별 질문을 들여다보면 이야기가 달랐습니다.

표현을 바꾸자 맞았던 문제가 틀리거나, 틀렸던 문제가 맞는 식으로 답이 뒤집혔고 일부 조건에서는 불일치 비율이 23%를 넘었습니다.

즉,

“뜻이 같으면 AI도 같은 답을 하겠지.”

라고 단순하게 생각하기 어렵다는 겁니다.

다만 이 연구는 특정 벤치마크와 모델을 이용한 실험입니다. 모든 AI 질문에서 23%가 달라진다는 의미는 아닙니다.

오히려 중요한 것은 AI의 지식이 있어도 질문 표현에 따라 그 지식이 일관되게 나오지 않을 수 있다는 점입니다.

그럼 AI에게 중요한 질문은 한 번만 물으면 안 될까?

여기서 생활 속에서 꽤 유용한 방법 하나가 나옵니다.

저녁 메뉴를 고르거나 여행 일정을 만드는 정도라면 답이 조금 달라져도 큰 문제가 없습니다.

오히려 여러 답을 얻는 것이 재미있을 수도 있습니다.

하지만 제품 비교, 계약서 이해, 중요한 업무자료처럼 결과의 정확성이 중요한 질문이라면 이야기가 달라집니다.

AI가 첫 번째로 한 말을 바로 믿기보다 질문을 조금 바꿔볼 수 있습니다.

예를 들어,

“둘 중 A가 더 좋아?”

라고 물었다면 다음에는,

“A를 선택하지 말아야 할 이유를 찾아줘.”

라고 물어봅니다.

그리고 다시,

“B의 가장 큰 단점은 무엇이야?”

라고 질문합니다.

AI에게 같은 답을 반복하게 하는 것이 아니라 반대 방향에서 다시 검토하게 하는 것입니다.

저는 이것을 ‘AI 뒤집어 묻기’라고 생각합니다

예를 하나 들어보겠습니다.

AI가 말합니다.

“이 노트북은 휴대성이 좋아서 당신에게 더 적합합니다.”

여기서 끝내지 않습니다.

바로 이렇게 묻습니다.

“내가 이 노트북을 사고 후회한다면 가장 가능성 높은 이유 세 가지는 뭐야?”

재미있는 변화가 생깁니다.

처음에는 장점을 중심으로 설명하던 AI가 이번에는 화면 크기, 확장성, 가격 같은 단점을 꺼낼 수 있습니다.

이렇게 하면 AI를 결정을 대신 내려주는 사람이 아니라 내 판단의 빈틈을 찾아주는 도구로 사용할 수 있습니다.

특히 정답이 하나가 아닌 질문에서 효과적입니다.

“이게 좋은가?”

보다

“좋지 않을 가능성은 무엇인가?”

까지 함께 물어보는 겁니다.

그런데 숫자와 사실까지 달라진다면 이야기가 다르다

여기서는 반드시 구분해야 합니다.

첫 번째 답에서는 여행지 A를 추천하고 두 번째 답에서는 B를 추천하는 것은 취향이나 판단의 차이일 수 있습니다.

하지만 첫 번째 답에서 어떤 회사의 매출을 1조 원이라고 하고 두 번째에는 2조 원이라고 한다면 단순한 ‘다양성’으로 넘길 문제가 아닙니다.

날짜, 가격, 통계, 법률, 건강, 금융정보처럼 확인 가능한 사실은 답을 여러 번 생성하는 것보다 원자료를 확인하는 것이 우선입니다.

AI에게 세 번 물어서 두 번 같은 숫자가 나왔다고 그 숫자가 사실이 되는 것도 아닙니다.

AI의 다수결은 출처가 아닙니다.

이 구분은 꽤 중요합니다.

의견은 비교하고, 사실은 확인한다.

AI를 사용할 때 기억해둘 만한 원칙입니다.

오히려 답이 달라지는 특성을 이용할 수도 있다

생성형 AI의 이런 특징이 항상 단점인 것은 아닙니다.

아이디어가 필요할 때는 오히려 장점이 됩니다.

“카페 이름 10개 만들어줘.”

라고 했는데 매번 똑같은 이름만 나온다면 창의적인 도구로서는 별로 재미가 없을 겁니다.

여행 일정이나 글 제목, 선물 아이디어를 찾을 때도 마찬가지입니다.

첫 답이 마음에 들지 않는다면

“완전히 다른 방향으로 다시 생각해줘.”

라고 할 수 있습니다.

즉 AI의 변동성은 아이디어를 만들 때는 장점이지만, 사실을 확인할 때는 위험요인이 될 수 있습니다.

같은 특징인데 사용하는 목적에 따라 가치가 달라지는 것입니다.

앞으로는 ‘AI가 뭐라고 했나’보다 이것을 보자

우리는 사람에게 조언을 받을 때도 한 사람의 말만 듣지 않을 때가 많습니다.

AI도 비슷하게 사용할 필요가 있습니다.

다만 AI는 말투가 너무 자연스럽고 자신 있어 보여서 첫 번째 답을 ‘정답’처럼 받아들이기 쉽습니다.

그래서 중요한 질문을 했다면 한 번 더 이렇게 물어보는 습관이 유용합니다.

“반대 결론이 나올 수 있는 조건은 뭐야?”

그리고 사실을 묻는 질문이라면 한 문장을 더 붙입니다.

“확인할 수 있는 원자료는 무엇이야?”

생성형 AI 시대에는 같은 질문에 항상 같은 답이 나오지 않는다는 사실 자체가 중요한 디지털 상식이 되어가고 있습니다.

어쩌면 AI를 잘 사용하는 사람과 그렇지 않은 사람의 차이는 AI에게 얼마나 어려운 질문을 하느냐가 아닐지도 모릅니다.

첫 번째 답을 마지막 답이라고 생각하지 않는 것.

그 작은 습관에서 차이가 시작될 수 있습니다.