AI에게 거짓말을 계속하면 결국 그 거짓말을 사실이라고 믿게 될까?

“AI에게 같은 거짓말을 계속하면 결국 사실로 믿게 될까요? 대화 맥락과 메모리, 모델 학습, AI 환각의 차이를 생활 속 사례로 쉽게 알아봅니다.“

조금 이상한 실험을 상상해봤습니다.

오늘 AI에게 이렇게 말합니다.

“나는 매운 음식을 전혀 먹지 못해.”

내일도 같은 말을 합니다.

일주일 뒤에도 다시 말합니다.

그런데 사실 나는 매운 음식을 아주 좋아합니다.

그렇다면 한 달 뒤 AI에게

“내가 좋아할 만한 저녁 메뉴를 추천해줘.”

라고 물으면 어떻게 될까요?

AI가 매운 음식을 제외한다면 재미있는 문제가 생깁니다.

AI가 내 거짓말을 ‘사실이라고 믿게 된 것’일까요?

더 나아가 내가 같은 이야기를 수십 번 반복하면 그 내용이 AI에게 학습되어 다른 사람에게까지 전달될 수 있을까요?

AI를 오래 사용하는 사람이 늘면서 의외로 헷갈리기 쉬운 문제입니다.

대화 속에서 사실이 되는 것과 AI가 학습하는 것은 다르다

먼저 구분해야 할 것이 있습니다.

우리가 AI에게 무언가를 말했다고 해서 그 순간 AI 모델 자체가 다시 학습되는 것은 아닙니다.

예를 들어 내가 대화 도중

“우리 집 강아지 이름은 초코야.”

라고 말했다면 AI는 이후 대화에서 초코를 내 강아지라고 전제하고 이야기할 수 있습니다.

그런데 사실 우리 집에는 강아지가 없다고 해봅시다.

AI는 그것을 직접 확인할 방법이 없습니다.

대화에서는 사용자가 제공한 정보를 하나의 맥락(context)으로 이용하기 때문입니다.

그래서 나중에

“초코에게 어떤 간식을 사주면 좋을까?”

라고 물으면 강아지가 실제로 존재하는지 조사하기보다 앞에서 받은 정보를 토대로 답할 수 있습니다.

이것은 AI가 거짓말을 ‘믿었다’기보다는 대화를 계속하기 위해 주어진 조건을 사용한 것에 가깝습니다.

그렇다면 반복하면 더 진짜가 될까?

여기서 질문을 조금 바꿔보겠습니다.

“나는 커피를 싫어해.”

이 말을 한 번이 아니라 여러 대화에서 반복한다면 어떨까요?

메모리나 개인화 기능이 활성화된 AI라면 사용자의 선호에 관한 정보가 이후 답변에 활용될 가능성이 있습니다.

그러면 어느 날 카페를 추천해달라고 했을 때 커피 전문점보다 차나 다른 음료가 있는 곳을 우선적으로 제안할 수도 있습니다.

하지만 여기서도 중요한 차이가 있습니다.

AI가 세상의 사실을 새롭게 배운 것이 아니라 ‘이 사용자에 관한 정보’를 활용하고 있는 것입니다.

즉,

“이 사용자는 커피를 싫어한다.”

와

“커피는 사람들이 싫어하는 음료다.”

는 완전히 다른 종류의 정보입니다.

내가 첫 번째 정보를 아무리 반복해도 그것만으로 두 번째 문장이 세상의 사실이 되는 것은 아닙니다.

내가 AI에게 말하면 다른 사람의 AI도 알게 될까?

이 부분은 특히 오해하기 쉽습니다.

“내가 ChatGPT에게 어떤 정보를 알려주면 ChatGPT 전체가 그것을 배우는 것 아닐까?”

대화와 모델 학습을 같은 것으로 생각하면 이렇게 느낄 수 있습니다.

하지만 개인 대화에서 AI가 현재 대화를 참고하는 것과, AI 모델 자체가 훈련되는 과정은 구분해야 합니다.

OpenAI도 ChatGPT의 메모리 기능과 모델 개선을 위한 데이터 사용을 별도의 기능과 설정으로 설명하고 있습니다.

즉 오늘 내가 한 문장을 입력했다고 해서 그 문장이 즉시 ChatGPT의 공통 지식이 되고, 바로 다른 사람의 답변에 나타나는 구조라고 생각하면 안 됩니다.

여기서 우리가 기억할 문장은 하나입니다.

대화에 알려주는 것 ≠ AI 전체를 즉석에서 가르치는 것

입니다.

그런데 더 재미있는 문제는 따로 있다

AI가 거짓말을 ‘믿는가’보다 실제 생활에서는 다른 문제가 더 중요합니다.

AI가 잘못된 전제를 받아들이면 이후 답변도 그 전제 위에서 만들어질 수 있다는 것입니다.

예를 들어 사용자가 실수로 이렇게 말했다고 해보겠습니다.

“나는 당일치기 여행만 좋아해.”

사실은 숙박 여행을 좋아하지만 잘못 입력했습니다.

이 정보가 이후 대화의 맥락으로 계속 사용된다면 여행 추천도 그 방향으로 달라질 수 있습니다.

AI의 답변이 이상해졌는데 사용자는 이유를 모를 수도 있습니다.

AI가 갑자기 이상해진 것이 아니라 처음 입력된 정보가 틀렸을 가능성이 있는 겁니다.

사람 사이에서도 비슷합니다.

친구가 나를 처음부터 “매운 음식을 못 먹는 사람”이라고 알고 있으면 함께 식당을 고를 때 계속 매운 식당을 제외할 수 있습니다.

AI 개인화에서도 오래된 정보나 잘못된 정보가 쌓인다면 비슷한 문제가 생길 수 있습니다.

AI에게 일부러 거짓말해보는 것보다 더 유용한 실험

실제 계정에 거짓 정보를 계속 넣을 필요는 없습니다.

대신 한 번 이렇게 물어보면 재미있습니다.

“지금까지의 대화를 기준으로 네가 알고 있는 나의 취향과 조건을 정리해줘. 그리고 확실한 정보와 추정한 정보를 구분해줘.”

여기서 중요한 것은 마지막 문장입니다.

확실한 정보와 추정을 구분해달라.

AI가 나에 대해 말하는 내용 가운데 내가 직접 알려준 것이 무엇이고, 대화를 통해 추론한 것이 무엇인지 생각해볼 수 있기 때문입니다.

틀린 내용이 발견되면 그대로 두기보다 정정하면 됩니다.

“그건 예전 정보야.”

“나는 이제 그것을 좋아하지 않아.”

“그 내용은 잘못 이해했어.”

개인화 AI 시대에는 AI에게 정보를 많이 주는 능력만큼 잘못 알고 있는 정보를 고쳐주는 능력도 중요해질 수 있습니다.

AI가 틀린 말을 자신 있게 한다면?

여기서 또 하나를 구분해야 합니다.

사용자가 거짓 정보를 제공해서 AI가 그 전제를 따라가는 경우와, 사용자가 아무런 잘못된 정보를 주지 않았는데 AI가 사실과 다른 내용을 만들어내는 현상은 같은 문제가 아닙니다.

생성형 AI는 실제로 존재하지 않는 정보나 부정확한 내용을 그럴듯하게 만들어낼 수 있습니다. 흔히 ‘환각(hallucination)’이라고 부르는 문제입니다.

그래서 날짜, 숫자, 의학·법률·금융 정보처럼 중요한 사실은 AI의 말만 믿기보다 원문이나 신뢰할 만한 출처에서 다시 확인해야 합니다.

특히 흥미로운 것은 AI가 틀린 답을 할 때 반드시

“잘 모르겠습니다.”

라고 말해주는 것은 아니라는 점입니다.

문장이 자연스럽다는 것과 내용이 사실이라는 것은 전혀 다른 문제입니다.

결국 AI는 거짓말을 믿는 걸까?

사람에게 “믿는다”는 말에는 꽤 복잡한 의미가 있습니다.

사실이라고 판단하고, 확신하고, 때로는 감정적으로 신뢰한다는 뜻까지 포함됩니다.

현재의 생성형 AI에 이 의미를 그대로 적용하면 오해하기 쉽습니다.

AI가 사용자가 제공한 거짓 정보를 이후 답변에 활용한다고 해서 사람처럼 그것을 마음속에서 믿고 있다고 볼 필요는 없습니다.

더 정확한 표현은 이쪽에 가깝습니다.

AI는 주어진 정보를 대화의 조건으로 사용할 수 있다.

그리고 그 조건이 잘못되어 있다면 그 위에서 만들어지는 답변 역시 엉뚱한 방향으로 갈 수 있다.

생각해보면 AI 시대에는 새로운 습관 하나가 필요할지도 모르겠습니다.

우리는 지금까지 AI에게

“무엇을 알고 있어?”

라고 물었습니다.

앞으로는 가끔 이렇게 물어봐야 할 것 같습니다.

“그런데 너는 왜 그렇게 알고 있어?”

AI를 잘 사용하는 능력은 좋은 질문을 하는 것에서 끝나지 않습니다.

AI가 무엇을 사실로 전제하고 있는지 확인하는 것.

어쩌면 그것이 개인화 AI 시대에 필요한 새로운 디지털 습관일지도 모릅니다.