ChatGPT 답변이 자꾸 뻔한 이유｜수십 번 질문하면서 알게 된 한 가지

“ChatGPT에 질문하면 왜 자꾸 뻔한 답이 나올까요? 직접 AI를 반복해서 사용하며 알게 된 경험과 인간-AI 협업 연구를 바탕으로 맥락·피드백·비교를 이용해 답변 품질을 높이는 방법을 설명합니다.”

ChatGPT를 처음 사용했을 때 의외로 실망했던 순간이 있었습니다.

분명 질문에는 답을 해주는데 읽고 나면 이런 생각이 들었습니다.

“맞는 말이기는 한데… 너무 뻔한데?”

블로그 글을 부탁하면 어디선가 본 것 같은 글이 나오고, 아이디어를 달라고 하면 누구나 생각할 만한 이야기가 나왔습니다.

처음에는 AI의 능력이 그 정도라고 생각했습니다.

그런데 같은 질문을 여러 방식으로 바꿔보면서 생각이 달라졌습니다.

문제는 AI가 답을 못하는 것이 아니라, 제가 AI에게 판단할 재료를 거의 주지 않았다는 데 있었습니다.

“좋은 글 써줘”라고 하면 AI는 무엇을 기준으로 해야 할까?

예를 들어 이렇게 요청했다고 해보겠습니다.

“AI에 관한 좋은 블로그 글을 써줘.”

사람에게 부탁해도 상당히 어려운 주문입니다.

누가 읽는 글인지,

독자가 무엇을 궁금해하는지,

글쓴이는 어떤 경험을 했는지,

얼마나 전문적으로 설명해야 하는지 아무것도 알려주지 않았기 때문입니다.

AI 역시 마찬가지입니다.

조건이 부족하면 가장 무난하게 성립할 수 있는 방향으로 답을 구성하기 쉽습니다.

그러니 결과도 무난해집니다.

제가 가장 먼저 바꾼 것은 ‘프롬프트 기술’이 아니었습니다

처음에는 프롬프트 공식을 찾아봤습니다.

역할을 지정하고, 조건을 넣고, 형식을 지정하라는 방법도 사용해봤습니다.

분명 도움이 됐습니다.

그런데 계속 사용하다 보니 그것보다 중요한 것이 있었습니다.

내가 알고 있는 것을 먼저 말해주는 것이었습니다.

예를 들어 지금 이 블로그를 만든다고 생각해보겠습니다.

단순히,

“중장년층을 위한 AI 글을 써줘.”

라고 요청하는 것과,

“중장년층이 AI를 어렵게 느끼는 이유를 설명하는 글을 쓰려고 해. 내가 직접 사용해보니 전문용어보다 ‘어디에 써야 하는지 모르겠다’는 문제가 더 컸어. 처음에는 검색처럼 사용했지만 나중에는 글 정리와 자료 비교에 더 많이 사용하게 됐어. 이 경험을 중심으로 글의 구조를 만들어줘.”

라고 요청하는 것은 완전히 다릅니다.

두 번째에는 나만 가지고 있는 정보가 들어가 있기 때문입니다.

직접 경험을 넣었더니 글이 달라졌습니다

블로그를 만들면서 이 차이를 특히 많이 느꼈습니다.

AI에게 모든 내용을 만들어달라고 하면 문장은 깔끔합니다.

하지만 읽고 나서 기억에 남는 것이 별로 없습니다.

반대로 제가 먼저 경험을 적었습니다.

“처음에는 이렇게 했다.”

“이 부분에서 실패했다.”

“다시 질문했더니 결과가 달라졌다.”

“생각했던 것과 실제 결과가 달랐다.”

이런 메모를 AI에게 주고 정리를 부탁했습니다.

그랬더니 글의 성격이 달라졌습니다.

AI가 글쓴이가 되는 것이 아니라 제가 가진 경험을 편집해주는 도구가 된 것입니다.

이 차이가 중요했습니다.

연구에서도 ‘AI를 붙이면 무조건 좋아지는 것’은 아니었습니다

2025년 발표된 인간-AI 협업 연구에서도 흥미로운 결과가 있습니다.

연구진은 대화형 AI를 이용한 질의응답에서 사람과 AI가 어떤 방식으로 협업할 때 결과가 달라지는지 두 차례 통제실험을 진행했습니다.

첫 실험에는 31명, 두 번째 실험에는 106명이 참여했습니다.

연구 결과는 단순히 사람과 AI를 결합한다고 해서 결과가 자동으로 좋아지는 것은 아니며, 사람이 AI의 제안을 활용하고 개입하는 방식에 따라 응답 품질이 달라질 수 있음을 보여줬습니다.

이 연구 하나만으로 모든 ChatGPT 사용법을 일반화할 수는 없습니다.

하지만 제가 실제로 사용하면서 느낀 경험과 연결되는 부분이 있습니다.

AI에게 한 번 명령하고 끝내는 것보다 사람이 계속 개입할 때 결과가 좋아질 수 있다는 것입니다.

그래서 저는 첫 번째 답을 ‘완성본’으로 보지 않습니다

이것이 사용 습관을 가장 많이 바꿨습니다.

처음에는 질문 한 번에 좋은 답을 얻으려고 했습니다.

지금은 첫 답을 보면 바로 다음 질문을 합니다.

“너무 일반적이야. 내가 직접 경험한 부분을 중심으로 다시 써줘.”

또는,

“설명은 좋은데 독자가 실제로 무엇을 해야 하는지가 없어.”

때로는 더 단순하게 말합니다.

“이 부분은 마음에 들지 않아. 다른 방향으로 가보자.”

이것도 훌륭한 피드백입니다.

AI와 대화할 때 반드시 전문적인 명령어를 사용할 필요는 없었습니다.

비교시키는 방법도 효과적이었습니다

한 가지 답만 보면 좋은지 나쁜지 판단하기 어려울 때가 있습니다.

그래서 요즘은 이렇게 요청하기도 합니다.

“이 제목을 서로 완전히 다른 방향으로 3개 만들어줘. 그리고 각각 어떤 독자에게 적합한지 설명해줘.”

2024년 발표된 소규모 연구에서도 생성형 AI 결과 하나만 평가하는 방식과 두 결과를 비교하는 방식을 실험했습니다. 연구에는 32명의 학생이 참여했고, 연구진은 비교형 피드백이 보다 세밀한 평가를 유도할 가능성을 보고했습니다.

다만 표본이 작은 예비 연구이므로 이를 확정적인 효과로 받아들이기는 어렵습니다.

그래도 실생활에서는 꽤 유용한 방법입니다.

‘좋아?’라고 묻는 것보다 A와 B 중 무엇이 목적에 더 맞는지 비교하는 것이 판단하기 쉽기 때문입니다.

AI에게 부족했던 것은 ‘정보’보다 ‘나의 맥락’이었습니다

계속 사용하면서 제가 내린 결론은 의외로 단순합니다.

AI에게 더 어려운 명령을 해야 좋은 답이 나오는 것이 아니었습니다.

AI가 모르는 나의 상황을 더 정확하게 알려주는 것이 중요했습니다.

누가 읽는가.

왜 필요한가.

내가 이미 해본 것은 무엇인가.

무엇이 마음에 들지 않았는가.

어떤 결과를 원하는가.

이 다섯 가지가 들어가면 결과가 상당히 달라집니다.

이를 조금 전문적인 표현으로 바꾸면 맥락(context)을 제공하는 것이라고 할 수 있습니다.

제가 실제로 사용하는 방법은 이렇습니다

이제는 AI에게 처음부터 완성본을 요구하지 않습니다.

먼저 제가 가진 재료를 줍니다.

그다음 AI에게 구조를 부탁합니다.

결과를 보고 마음에 들지 않는 부분을 말합니다.

필요하면 두세 가지 대안을 비교합니다.

마지막으로 제가 선택하고 수정합니다.

즉,

내 경험 → AI 초안 → 피드백 → 비교 → 내 선택

의 순서입니다.

AI가 모든 것을 만드는 구조가 아닙니다.

사람과 AI가 번갈아 개입하는 구조입니다.

그런데 이것이 블로그에서는 더 중요했습니다

AI가 만든 평범한 글도 문법적으로는 아무 문제가 없습니다.

하지만 인터넷에는 이미 비슷한 정보가 너무 많습니다.

Google 역시 사용자 중심 콘텐츠를 평가할 때 독창적인 정보·연구·분석이 있는지, 다른 자료를 단순히 다시 쓰는 데 그치지 않고 추가적인 가치와 독창성을 제공하는지, 실제 경험에서 비롯된 전문성이 드러나는지를 점검하라고 안내합니다.

2026년 Google의 생성형 AI 검색 최적화 가이드도 비슷합니다. Google은 다른 인터넷 자료를 다시 반복하거나 생성형 AI가 쉽게 만들어낼 수 있는 내용보다 고유한 관점과 실제 경험을 가진 콘텐츠에 집중하라고 설명합니다.

결국 독자에게도 같은 문제입니다.

검색해서 어디서나 볼 수 있는 내용을 다시 읽을 이유는 많지 않습니다.

하지만,

“나는 직접 해봤는데 여기에서 막혔다.”

“이렇게 바꾸니 결과가 달라졌다.”

라는 내용은 그 글에서만 얻을 수 있습니다.

AI 시대에 더 중요해진 것은 오히려 ‘내 이야기’였습니다

처음에는 AI를 잘 사용하면 내가 글을 덜 써도 될 것이라고 생각했습니다.

지금은 조금 다르게 생각합니다.

AI가 글을 쉽게 만들수록 내가 직접 넣어야 하는 부분은 더 분명해졌습니다.

AI에게 문장 정리는 맡길 수 있습니다.

목차도 부탁할 수 있습니다.

자료 비교도 도움받을 수 있습니다.

하지만,

내가 무엇을 경험했는지,

왜 생각이 바뀌었는지,

무엇이 실패했는지,

그 경험에서 무엇을 배웠는지는 제가 가지고 있어야 합니다.

그래서 ChatGPT에서 평범한 답이 나올 때 이제는 AI만 탓하지 않습니다.

먼저 이렇게 생각합니다.

“나는 AI에게 내 이야기를 얼마나 줬지?”

이 질문 하나를 던지고 나면 다음 답은 대부분 첫 번째 답과 달라졌습니다.

좋은 AI 답변을 만드는 가장 어려운 기술은 복잡한 프롬프트를 외우는 일이 아닐지도 모릅니다.

내가 알고 있는 것, 경험한 것, 원하는 것을 정확하게 설명하는 능력.

직접 사용해보니 그것이 훨씬 중요했습니다.