계산과 자원
더 크고 오래 계산하면 언제나 더 나을까요?
모델의 크기와 기기 자원, 계산에 들인 노력을 결과의 품질과 구분합니다.
개념 살펴보기
작은 모델이 적합한지는 작업과 실행 환경에 따라 달라집니다. 양자화처럼 자원 사용을 줄이는 방법도 자원과 품질의 절충을 함께 살펴야 하며, 모델의 크기만으로 속도나 안전을 보장할 수 없습니다.
학습 때 쓰는 계산과 질문을 받은 뒤 추가로 쓰는 계산은 구분할 수 있습니다. 추가 계산이 도움을 줄 수 있어도 긴 대기시간이나 긴 답변 자체가 정확한 결론의 증거는 아닙니다.
이 개념을 다룬 에피소드 4
에피소드 04AI는 방금 한 말을 왜 잊어버릴까?
캐시를 기억 능력의 확장이 아니라 반복 처리의 최적화로 살펴봅니다.
에피소드 06작은 AI가 주목받는 이유
필요한 작업에 맞춰 자원과 품질을 선택하는 편입니다.
에피소드 08AI가 오래 생각하면 더 똑똑해질까?
추가 계산을 언제 사용하는지와 결과의 품질을 구분합니다.
에피소드 10내 이야기는 AI에게 어디까지 전해질까?
모델이 기기와 클라우드 중 어디에서 실행되는지와 데이터의 보관·접근 문제는 구분해야 합니다.