“ChatGPT 답변은 어디까지 믿어야 할까요? Microsoft Research의 지식근로자 319명·AI 활용 사례 936건 연구와 실제 사용 경험을 바탕으로 AI 답변을 검증하고 판단하는 방법을 알아봅니다.”

ChatGPT를 처음 사용할 때와 지금의 가장 큰 차이는 무엇일까 생각해봤습니다.

처음에는 답을 얻는 것이 중요했습니다.

지금은 조금 다릅니다.

답을 받으면 먼저 이런 생각이 듭니다.

“이거 정말 맞나?”

처음에는 AI가 틀릴 수 있다는 말을 알고 있으면서도 답변이 너무 자연스럽고 논리적이면 그대로 믿고 싶은 마음이 생겼습니다.

특히 제가 잘 모르는 분야일수록 그랬습니다.

그런데 계속 사용하면서 한 가지를 알게 됐습니다.

AI를 잘 사용하는 사람은 질문을 잘하는 사람만이 아니라, 받은 답을 잘 검토하는 사람이어야 한다는 것입니다.

---

이상한 점은 틀린 답도 꽤 그럴듯하다는 것입니다

사람에게 설명을 들을 때는 말투에서 자신 없어 하는 모습이 느껴질 때가 있습니다.

AI는 다릅니다.

잘못된 내용도 상당히 자연스러운 문장으로 설명할 수 있습니다.

제가 AI를 사용하면서 가장 경계하게 된 부분도 이것입니다.

글을 정리하거나 아이디어를 얻을 때는 큰 문제가 되지 않을 수 있습니다.

하지만 투자정보, 건강, 정책, 세금, 법률, 통계처럼 정확성이 중요한 문제라면 이야기가 달라집니다.

그래서 요즘은 중요한 답을 받으면 질문 하나를 더 합니다.

“이 내용의 근거와 기준 날짜를 알려줘.”

그리고 가능하면 AI가 알려준 출처를 직접 열어봅니다.

여기서 또 하나 알게 됐습니다.

출처가 있다고 해서 검증이 끝난 것도 아니었습니다.

원문에 정말 같은 내용이 있는지 확인해야 합니다.

---

실제 연구에서도 비슷한 문제가 발견됐습니다

Microsoft Research와 Carnegie Mellon University 연구진은 생성형 AI가 지식근로자의 비판적 사고에 어떤 영향을 주는지 조사했습니다.

2025년 CHI 학회에 발표된 이 연구에는 319명의 지식근로자가 참여했고, 연구진은 이들이 실제 업무에서 생성형 AI를 사용한 936개의 사례를 분석했습니다.

흥미로운 결과가 나왔습니다.

AI에 대한 신뢰가 높을수록 비판적 사고를 수행할 가능성과 그 과정에 들이는 노력이 낮아지는 경향이 나타났습니다.

반대로 자신의 업무 능력에 대한 자신감이 높을수록 비판적 사고에 더 적극적으로 참여하는 경향이 관찰됐습니다.

하지만 이 연구를 “AI를 사용하면 사고력이 떨어진다”라고 해석하면 지나친 단순화입니다.

더 중요한 내용은 따로 있습니다.

AI를 사용하면서 비판적 사고가 사라진 것이 아니라 그 역할이 달라지고 있었다는 것입니다.

---

AI 시대에는 ‘생성’보다 ‘검증’의 중요성이 커집니다

연구진은 생성형 AI 환경에서 비판적 사고의 중심이 정보 검증, AI 답변의 통합, 작업에 대한 관리와 책임 쪽으로 이동한다고 설명했습니다.

쉽게 풀어보겠습니다.

예전에는 사람이 처음부터 글을 만들었다면,

생각 → 작성 → 수정

의 과정이 중요했습니다.

AI를 사용하면,

요청 → 생성 → 검증 → 수정 → 판단

으로 과정이 달라집니다.

사람이 직접 작성하는 부분은 줄어들 수 있지만 AI가 만든 결과를 평가해야 하는 새로운 일이 생긴 것입니다.

저도 실제로 글을 작성하면서 이 변화를 느꼈습니다.

AI에게 초안을 요청하는 시간은 몇 분이면 충분합니다.

오히려 더 오래 걸리는 것은,

숫자가 맞는지,

출처가 정확한지,

같은 내용이 반복되는지,

내 경험과 맞는지,

지나치게 단정적으로 표현하지 않았는지를 확인하는 과정입니다.

AI가 글쓰기를 없앤 것이 아니라 사람이 해야 할 일의 위치를 바꾼 셈입니다.

---

가장 위험한 순간은 ‘내가 모르는 분야’였습니다

제가 AI를 사용하면서 만든 개인적인 원칙이 하나 있습니다.

내가 잘 모르는 분야일수록 AI의 답을 더 의심한다.

처음에는 반대로 생각하기 쉽습니다.

내가 모르니까 AI에게 물어보는 것이고, AI가 자세하게 설명하니 믿게 됩니다.

하지만 바로 그때가 가장 조심해야 할 순간입니다.

내가 해당 분야를 잘 모르기 때문에 AI의 오류도 알아차리기 어렵기 때문입니다.

그래서 생소한 분야에서는 한 번에 결론을 얻으려고 하지 않습니다.

먼저 개념을 이해하고,

검색어를 얻고,

공식자료를 찾고,

다른 자료와 비교합니다.

AI는 출발점이지 최종 판정자가 아닙니다.

---

사람들도 AI에게 중요한 결정을 전부 맡기고 싶어 하지는 않습니다

Pew Research Center가 2025년 미국 성인과 AI 전문가를 대상으로 조사한 결과에서도 이런 태도를 확인할 수 있습니다.

미국 성인의 63%는 AI가 자신의 중요한 결정을 대신 내릴 만큼 신뢰할 수 있는 단계에는 결코 도달하지 않을 것이라고 응답했습니다.

반면 그렇게 될 것이라고 생각한 비율은 13%였습니다.

AI 전문가들은 일반 대중보다 AI에 대해 긍정적이었지만 중요한 개인적 판단을 AI에게 맡기는 문제에 대해서는 의견 차이가 있었습니다.

이 조사 역시 미국을 대상으로 했기 때문에 한국 사회의 태도로 확대해석해서는 안 됩니다.

하지만 사람들이 AI의 편리함과 결정권을 넘겨주는 것을 서로 다른 문제로 보고 있다는 점은 주목할 만합니다.

---

저는 이제 AI에게 ‘정답’을 묻는 대신 ‘판단 재료’를 요청합니다

예전에는 이렇게 물었습니다.

“어떤 것이 더 좋아?”

지금은 질문을 조금 바꿉니다.

“두 선택지를 판단할 때 확인해야 할 기준을 정리해줘.”

차이는 작아 보이지만 결과는 상당히 다릅니다.

첫 번째 질문에서는 AI가 결론을 내립니다.

두 번째 질문에서는 AI가 판단에 필요한 재료를 정리하고 사람에게 결정권을 남깁니다.

또 하나 자주 사용하는 질문이 있습니다.

“내 생각과 반대되는 입장에서는 어떤 문제를 지적할 수 있어?”

AI가 내 생각에 계속 동의하는 방향으로 흐르는 것을 줄이기 위한 질문입니다.

---

‘확증편향’을 줄이는 데도 AI를 사용할 수 있습니다

사람은 자신이 이미 믿고 있는 생각과 일치하는 정보를 더 쉽게 받아들이는 경향이 있습니다.

이를 확증편향(confirmation bias)이라고 합니다.

AI도 내가 질문하는 방향에 따라 비슷한 관점의 답을 계속 제공할 수 있습니다.

그래서 중요한 문제에서는 일부러 반대 질문을 던져봅니다.

“이 주장에 반대하는 근거를 찾아줘.”

“내가 놓치고 있는 조건은 무엇이야?”

“이 결론이 틀릴 수 있는 상황을 세 가지 알려줘.”

이렇게 사용하면 AI는 내 생각을 대신하는 도구가 아니라 내 생각을 시험하는 도구가 됩니다.

---

디린이의 ‘AI 답변 5초 점검법’

AI에게 중요한 정보를 받았다면 다섯 가지를 확인합니다.

① 날짜
언제 기준의 정보인가?

② 출처
누가 발표한 정보인가?

③ 원문
실제 자료에도 같은 내용이 있는가?

④ 반대 근거
다른 자료나 해석은 없는가?

⑤ 결정권
나는 지금 AI에게 정보정리를 맡긴 것인가, 판단까지 맡긴 것인가?

특히 마지막 질문이 중요합니다.

정보를 맡기는 것과 판단을 맡기는 것은 다릅니다.

---

AI를 많이 사용하는 것보다 중요한 것

AI 사용이 늘어나면서 사람들의 경험도 조금씩 쌓이고 있습니다.

Pew Research Center의 2026년 조사에서는 미국 성인의 30%가 AI 챗봇이 자신의 생산성에 도움이 된다고 응답했고, 비슷한 비율이 정보를 얻는 데 도움이 된다고 답했습니다.

반면 각각 5%는 오히려 해가 된다고 응답했습니다.

이 수치 역시 AI가 무조건 좋거나 나쁘다는 결론을 의미하지 않습니다.

오히려 같은 기술이라도 어떻게 사용하느냐에 따라 경험이 달라질 수 있다는 점을 보여줍니다.

---

AI 시대의 실력은 ‘답을 얻는 능력’에서 끝나지 않습니다

ChatGPT를 처음 사용했을 때 저는 좋은 질문을 만드는 것이 가장 중요하다고 생각했습니다.

지금은 하나를 더 추가하고 싶습니다.

좋은 답을 의심할 줄 아는 능력입니다.

말이 이상한 답은 오히려 발견하기 쉽습니다.

진짜 어려운 것은 너무 그럴듯해서 의심하지 않게 되는 답입니다.

그래서 AI가 발전할수록 사람에게 필요한 능력도 달라질 수 있습니다.

직접 모든 문장을 작성하는 능력보다,

출처를 확인하고,

숫자를 검증하고,

다른 관점을 비교하고,

AI의 결과 중 무엇을 사용할지 판단하는 능력이 더 중요해질 수 있습니다.

저 역시 AI를 오래 사용할수록 AI를 더 많이 믿게 된 것이 아닙니다.

오히려 어디까지 믿어야 하는지를 조금씩 배우고 있습니다.

AI에게는 빠른 정리와 다양한 가능성을 맡기고,

사람은 검증과 판단을 담당하는 것.

지금까지 직접 사용해본 결과, 저는 이것이 AI를 가장 현실적으로 사용하는 방법이라고 생각합니다.