by Diana L.
신제품 출시를 한 달 앞두고 영업팀장이 첫 분기 판매량을 보고한다. "1,800개에서 2,200개 사이로 봅니다. 물론 시장 반응에 따라 틀릴 수는 있습니다." 대표는 고개를 끄덕인다. 틀릴 수 있다는 말까지 들었으니 충분히 신중한 보고로 들린다. 석 달 뒤 실제로 팔린 건 900개였다. 틀릴 수 있다고는 했지만, 이만큼 틀릴 줄은 몰랐다.
2008년 카네기멜런대의 조직행동 연구자 돈 무어와 오하이오주립대의 경제학자 폴 힐리는 과신을 세 가지로 나눴다. 내 실력을 실제보다 높게 보는 것, 내가 남보다 낫다고 믿는 것, 그리고 내 예측이 거의 틀리지 않을 거라고 믿는 것이다. 세 번째를 과도확신(overprecision)이라고 부른다. 두 사람은 참가자들에게 퀴즈를 풀게 하면서, 자기 점수와 다른 참가자의 점수가 90% 확률로 들어올 범위를 여러 번 말하게 했다. 실제 점수가 그 범위 안에 들어간 건 73%였다. 연구자들은 세 가지 과신 가운데 이 과도확신이 가장 끈질기게 남는다고 봤다. 과도확신은 어떤 조건에서도 사라지지 않았다. 퀴즈가 쉽든 어렵든, 풀기 전이든 푼 뒤든 사람들은 늘 실제로 맞힌 것보다 더 확신했다. 퀴즈를 풀고 난 뒤에는 적중률이 55%에서 85% 안팎까지 올라갔지만, 그래도 본인이 말한 90%에는 끝내 못 미쳤다.
그렇다. 사람은 자기가 틀릴 수 있는 경우를 다 떠올리지 못한다. 예측할 때 사람은 머릿속에 떠오르는 경우들만 놓고 따진다. 떠올리지 못한 경우는 일어날 리 없는 일처럼 빠져 버리고, 그만큼 확신은 커진다. 무어가 참여한 뒤이은 실험에서는 묻는 방식을 바꿔 봤다. 답이 들어올 범위 하나를 묻는 대신 가능한 값을 구간으로 나눠 구간마다 확률을 매기게 하자, 사람들이 답한 범위는 두 배로 넓어졌고 맞히는 비율도 54%에서 77%로 올랐다. 말하자면, 문제를 쪼개 놓았을 때, 생각해 낼 수 있는 경우의 수가 그만큼 늘어났기 때문에, 과도확신이 깎아 먹던 정확도를 되찾을 수 있었던 셈이다.
숫자를 다루는 사람이 과도확신에 차면, 흔히 말하는 스케일업쯤은 식은 죽 먹기다.
듀크대와 오하이오주립대 연구진은 2001년부터 2011년까지 미국 기업의 재무 책임자들에게 분기마다 같은 질문을 던졌다. 내년 미국 주식시장 수익률은 얼마일 것 같은가. 그리고 열에 한 번만 이보다 낮을 값과 열에 한 번만 이보다 높을 값은 얼마인가. 80% 확신하는 범위를 물은 셈이다. 1만 3천 건이 넘는 예측 가운데 실제 수익률이 그 범위 안에 들어온 건 36%였다. 대부분은 자기 회사 투자 사업의 수익률을 예측할 때도 지나치게 확신했다. 잘될 때와 안될 때의 차이를 믿기 어려울 만큼 작게 본 것이다. 자기 예측을 더 확신하는 재무 책임자가 있는 회사일수록 투자를 더 하고 빚을 더 지는 경향도 보였다.
이제 AI 없이 선택하고 결정하는 일은 드물다. AI는 일상과 업무의 거의 모든 영역에 녹아 있다. 그럼, 선택과 결정의 질이 좀 나아졌을까?
2025년 UC어바인 연구진은 참가자 301명에게 AI의 답과 설명을 보여 주고, 그 답이 맞을 확률을 매기게 했다. 사람들은 AI가 맞을 확률을 꾸준히 실제보다 높게 봤다. 설명이 길수록 더 믿었는데, 길어진 설명이 답을 더 정확하게 만들지는 않았다. 사람들은 답이 맞는지를 본 게 아니라, 답이 얼마나 그럴듯하게 들리는지를 본 것이다. 참가자들이 설명을 읽고 가려낸 수준은 찍는 것보다 조금 나은 정도였다. AI는 답마다 속으로 확신하는 정도가 다르다. 하지만 겉으로는 어느 답이나 똑같이 매끄럽게 설명한다. 연구진이 그 속의 확신에 맞춰 말투를 바꿔 봤다. 확신이 낮은 답은 머뭇거리는 말투로, 확신이 높은 답은 단정하는 말투로 보여 주자, 사람들은 AI가 보여 주는 대로 따라갔다.
"AI 너는 틀리면 이제 죽음이야!"라고 외치고 싶지 않은가? 하지만, 도구는 도구니까 어쩔 수 없이 틀릴 때도 있고, 맞을 때도 있다. 인간은 이제 의사결정의 수준과 질을 높이는 훈련이 필요하다. 지금까지는 인간에 의한 결정이었기 때문에, 그래도 이유와 근거에 대해 같이 논의하는 과정이 있었고, 권한이든 책임이든 인간이 짊어지고 있었다. 그러나 AI는 확신에 찬 답을 줄 뿐, 틀리면 "미안합니다"가 전부다. 진심인지 가식인지 알 수조차 없다. 안들 또 어쩔 건가.
리더는, 지난번 "물론 틀릴 수 있다"고 말했을 때 실제로 얼마나 틀렸는지 알고 있는가?
SOURCES
Moore, D.A. & Healy, P.J. (2008). The trouble with overconfidence. Psychological Review, 115(2), 502-517.
Haran, U., Moore, D.A. & Morewedge, C.K. (2010). A simple remedy for overprecision in judgment. Judgment and Decision Making, 5(7), 467-476.
Ben-David, I., Graham, J.R. & Harvey, C.R. (2013). Managerial Miscalibration. Quarterly Journal of Economics, 128(4), 1547-1584.
Steyvers, M., Tejeda, H., Kumar, A., Belem, C., Karny, S., Hu, X., Mayer, L.W. & Smyth, P. (2025). What large language models know and what people think they know. Nature Machine Intelligence.