목표와 평가
시스템은 무엇을 잘했다고 점수를 받을까요?
어떤 지표를 목표로 삼는지와 그 지표가 뜻하는 범위를 구분합니다.
개념 살펴보기
맞힌 답의 수만 보면 모를 때 보류하는 선택의 가치가 가려질 수 있습니다. 무엇을 보상하고 어떤 결과를 함께 측정하는지에 따라 모델의 행동과 성능을 읽는 방식이 달라집니다.
추천 시스템의 시청시간이나 추론 모델의 시험 점수도 특정 목표와 조건 아래의 지표입니다. 관찰된 행동이 만족의 전부는 아니며, 특정 평가 결과를 모든 현실 문제의 능력으로 확대해서는 안 됩니다.
이 개념을 다룬 에피소드 5
에피소드 01AI는 왜 자신 있게 틀린 답을 할까? — 핵심 해설 발췌
추측과 보류가 평가에서 어떤 점수를 받는지 살펴보는 사례로 이어집니다.
에피소드 02검색하는 AI는 무엇이 다를까?
많이 답하는 것과 정확하게 답하는 것을 서로 다른 지표로 비교합니다.
에피소드 03AI 에이전트, 어디까지 맡겨도 될까?
일을 맡기는 것과 함께 원하는 결과를 어떻게 확인할지도 정해야 합니다.
에피소드 08AI가 오래 생각하면 더 똑똑해질까?
성능 결과를 읽으려면 단일 답변인지 후보 선택인지 등 평가 조건을 확인해야 합니다.
에피소드 09추천 알고리즘은 어떻게 취향을 짐작할까?
시스템이 무엇을 목표로 삼느냐가 추천 결과를 읽는 핵심입니다.