토큰과 컨텍스트 윈도우의 비밀, AI는 왜 오래 대화할수록 느려질까?
ChatGPT, Gemini, Claude 같은 생성형 AI를 사용하다 보면 한 가지 흥미로운 현상을 경험하게 됩니다. 처음 새로운 대화를 시작했을 때는 빠르게 답변하던 AI가, 하나의 대화창에서 질문과 답변이 계속 쌓이면 점점 반응이 느려지는 것처럼 느껴질 때가 있습니다. 또한 이전에 나눈 내용을 바탕으로 작업을 이어가던 과정에서, 앞에서 정한 조건이나 맥락을 다시 설명해야 하는 상황도 발생합니다. 이 현상은 단순히…