한 온라인 커뮤니티에서 이런 글이 올라온 적 있다. ChatGPT에게 힘든 상황을 털어놨더니 꽤 따뜻하게 위로해줬고, 친구한테 말하는 것보다 오히려 편했다는 내용이었다. 댓글에는 "나도 그런 경험 있다"는 사람이 많았다.
이게 나쁜 경험이라는 게 아니다. 문제는 그 다음이다. AI가 공감해줬다는 경험이 쌓이면, 슬쩍 AI 판단을 믿기 시작한다. 법적인 문제, 건강 관련 질문, 중요한 결정. 그리고 AI가 자신 있게 알려준 내용 중 일부는 나중에 틀린 걸 알게 된다.
생성형 AI 원리에 대한 이해가 그래서 필요하다. 딱 하나만 이해하면 된다.
AI는 생각하지 않는다.
생성형 AI 원리 — 패턴 예측의 구조
ChatGPT 같은 생성형 AI가 하는 일을 가장 단순하게 표현하면 이렇다. "이 문장 다음에 올 확률이 가장 높은 단어는 뭔가?" 이걸 반복해서 문장을 만든다.
스마트폰 키보드의 자동완성을 떠올려보자. "오늘 날씨가" 다음에 "좋네요", "흐리네요" 같은 단어가 뜨는 방식. 생성형 AI는 그 자동완성을 인터넷에 있는 수천억 개의 문장으로 학습해서 어마어마하게 정교하게 만든 것이다. 구조는 비슷한데 규모가 완전히 다르다.
그래서 같은 질문을 두 번 하면 답이 조금씩 달라진다. 수학 정답처럼 고정된 출력이 아니라, 매번 확률 계산이 다르게 돌아가기 때문이다. "AI가 오늘은 이렇게 말하고 내일은 저렇게 말한다"는 게 버그가 아니다. 구조 자체가 그렇게 되어 있다.
말을 그럴듯하게 이어나가는 것과 사실을 확인하는 것은 완전히 다른 일이다. AI는 앞의 일을 하는 거지, 뒤의 일을 하지 않는다.
 |
| 생성형 AI 작동 원리 — 입력 텍스트가 확률 계산을 거쳐 출력되는 과정 |
생각하는 것처럼 보이는 이유
그러면 왜 이렇게 사람 같은 느낌이 드는 걸까. 가장 단순한 이유부터 말하면, 학습 데이터가 전부 사람이 쓴 것이기 때문이다. 인터넷의 글, 책, 대화, 뉴스. 전부 사람의 생각과 감정이 담긴 텍스트다. AI는 그 텍스트들을 전부 학습했다. 출력이 사람 같은 건 당연한 결과다.
AI가 공감하는 말을 하는 건 공감하는 감정이 있어서가 아니다. 위로가 필요한 맥락에서 그런 말이 자주 나온다는 패턴을 학습했기 때문이다. "잘 모르겠지만…", "개인마다 다를 수 있는데…" 같은 주저하는 표현도 마찬가지다. 불확실성을 느끼는 게 아니라, 그 맥락에서 그런 표현이 자주 나왔을 뿐이다.
AI가 "저는 AI라서 감정이 없어요"라고 말하는 것도 패턴이다. 그런 질문을 받으면 그런 답이 자주 나왔던 학습 데이터를 따른 것이지, AI가 자기 자신을 이해해서 하는 말이 아님을 알아야 한다.
 |
| 인간의 사고와 AI 패턴 예측의 차이 — 같은 언어 출력이지만 내부는 다르다 |
AI를 사람처럼 대하면 생기는 일
AI가 사람처럼 느껴지는 것 자체는 문제가 아니다. 문제는 그 느낌이 판단에 영향을 줄 때다.
📌 내가 찾아본 실제 사례
한국 대학 현장에서도 비슷한 문제가 반복적으로 지적된다. 생성형 AI를 과제나 보고서 작성에 활용하는 학생은 빠르게 늘었지만, 답변의 신뢰성에 대한 만족도는 상대적으로 낮게 나타났다. 특히 보고서와 과제 작성에 많이 사용되는데, 사실 검증 없이 그대로 인용할 경우 잘못된 정보가 자연스럽게 섞일 위험이 있다는 지적이 나온다. (출처: KCI)
특히 주의해야 할 상황들이 있다.
🏥 의료 정보 맹신 — 증상을 설명하면 AI가 그럴듯한 진단을 낸다. 하지만 AI는 의사가 아니고, 출력은 통계적 패턴일 뿐이다.
⚖️ 법률 판단 의존 — AI가 언급한 판례나 법 조항이 실제로 존재하지 않는 경우가 있다. 중요한 법적 판단은 전문가를 거쳐야 한다.
💬 감정적 의존 — AI가 공감한다는 느낌이 실제 관계를 대체하기 시작하면 얘기가 달라진다. 편하게 쓰되 경계는 의식해야 한다.
📊 수치 데이터 오인 — AI가 제시하는 통계나 수치는 없는 걸 만들어낸 것일 수 있다. 중요한 자료는 원본 출처를 직접 확인해야 한다.
이걸 알면 달라지는 것들
생성형 AI 원리를 알아야 하는 이유가 바로 여기 있다. 이론 공부가 아니라, 일상에서 AI를 쓸 때 판단이 달라진다.
예를 들어 AI에게 "이 계약서에 문제 있어?"라고 물었을 때, 원리를 아는 사람은 이렇게 생각한다. "AI가 법률 학습 데이터에서 비슷한 패턴을 찾아 답하는 거니까, 방향 참고는 되지만 실제 법적 판단은 따로 확인해야 한다." 원리를 모르는 사람은 그냥 믿는다.
AI가 매번 조금씩 다른 답을 한다는 것도 활용 방식을 바꾼다. 같은 질문을 두세 번 다르게 물어보고, 공통적으로 나오는 내용을 신뢰하는 방식이 더 안전하다.
원리를 알면 AI를 더 잘 쓸 수 있게 된다. "AI가 틀릴 수 있다"를 아는 사람이 "AI가 항상 맞다"고 믿는 사람보다 AI를 오히려 더 유용하게 쓴다. 적당한 거리감이 더 좋은 결과를 만든다.
 |
| AI 출력을 비판적으로 검토하는 사람 — 적당한 거리감이 더 나은 활용을 만든다 |
핵심 정리
사람처럼 말하니까 자꾸 사람처럼 느껴지는데, 실제로는 "이 다음에 어떤 말이 자연스러운가"를 어마어마한 규모로 계산하는 시스템에 가깝다. 그래서 가끔은 놀랄 만큼 정확하고, 또 가끔은 황당할 정도로 틀린다. 문제는 둘 다 똑같이 자신 있게 말한다는 점이다.
이걸 알고 쓰는 것과 모르고 쓰는 것의 차이는 처음엔 크지 않다. 하지만 작은 실수들이 쌓이기 시작하면 차이는 점점 벌어진다. AI가 틀렸을 때 알아차리는 사람과 그냥 넘어가는 사람의 차이로.
이 글에서 다룬 것들
- 생성형 AI는 생각하지 않는다 — 패턴을 예측해서 문장을 만든다
- 사람처럼 말하는 이유는 사람이 쓴 텍스트를 학습했기 때문이다
- AI 의인화가 위험한 이유 — 친근함이 신뢰 착각으로 이어질 때
- 적당한 거리감이 AI를 더 잘 쓰게 만든다
← 이전 글: AI 리터러시 1편 — 검색 잘하던 사람들이 갑자기 불안해진 이유
→ 다음 글: AI 리터러시 3편 — 왜 AI는 틀린 말을 확신 있게 할까(준비중)
댓글 쓰기