근거와 정확성
그럴듯한 답과 맞는 답은 어떻게 다를까요?
말의 매끄러움보다 질문에 맞는 근거가 있는지 살펴봅니다.
개념 살펴보기
모델은 학습한 정보나 검색한 자료를 참고해도 틀린 답을 낼 수 있습니다. 관련 문서를 찾았는지와 그 문서가 질문에 충분한 근거인지도 다른 문제입니다.
정확한 답, 틀린 답, 답변 보류를 함께 살펴보면 항상 답하는 것과 신뢰할 만하게 답하는 것의 차이가 드러납니다. 중요한 정보는 원문과 질문의 조건을 함께 확인해야 합니다.
이 개념을 다룬 에피소드 9
에피소드 01AI는 왜 자신 있게 틀린 답을 할까? — 핵심 해설 발췌
이 편의 출발점은 답이 그럴듯하게 들리는 것과 사실에 맞는 것이 다르다는 구분입니다.
에피소드 02검색하는 AI는 무엇이 다를까?
관련성과 근거의 충분성을 나누는 것이 이 편의 핵심입니다.
에피소드 04AI는 방금 한 말을 왜 잊어버릴까?
용량이 늘었다는 사실과 답이 정확하다는 사실을 구분합니다.
에피소드 05AI에게 질문하면 그때마다 배우는 걸까?
사실 정보를 학습할 수 있어도 유창함이 정확성의 증거는 아닙니다.
에피소드 06작은 AI가 주목받는 이유
크기나 실행 방식만으로 결과의 정확성을 판단할 수 없습니다.
에피소드 07사진을 보고 목소리를 듣는 AI
다양한 입력을 처리하는 능력과 해석의 정확성은 구분해야 합니다.
에피소드 08AI가 오래 생각하면 더 똑똑해질까?
계산의 양이나 답변의 길이보다 근거와 결과로 확인하는 관점입니다.
에피소드 09추천 알고리즘은 어떻게 취향을 짐작할까?
관찰된 행동에서 나온 예측과 실제 만족을 동일하게 볼 수 없습니다.
에피소드 10내 이야기는 AI에게 어디까지 전해질까?
공개된 설계가 있다는 것과 안전성이 검증되었다는 것은 같은 근거가 아닙니다.