AI의 '후반전'이 시작됐다! 훈련보다 평가가 중요해진 시대의 생존법

AI benchmarks

[AI 개발의 '후반전'이 시작됐다?] Shunyu Yao의 아티클 "The Second Half"를 통해 현재 AI 기술이 어떤 변곡점을 지나고 있으며, 앞으로 우리가 나아가야 할 방향은 무엇인지 함께 고민해 봅니다.

혹시 긴 프로젝트나 여정의 절반쯤 도달했을 때, '이제부터가 진짜 시작'이라는 느낌을 받아본 적 있으신가요? 제겐 40대에 들어설때가 딱 그랬는데요. 최근에 Shunyu Yao라는 분의 "The Second Half"라는 글을 읽고 AI 개발의 흐름도 비슷하다는 생각에 무릎을 탁 쳤습니다. 그니까요, 지금까지의 AI 발전이 '전반전'이었다면, 이제는 완전히 다른 게임의 '후반전'을 준비해야 한다는 거죠. 😊

💡 원문 정보
이 글은 Shunyu Yao의 아티클 "The Second Half"를 바탕으로 작성되었습니다.
원문 링크 바로가기

AI의 '전반전': 더 똑똑한 모델을 향한 질주 🏃‍♂️

Shunyu Yao에 따르면 AI의 '전반전'은 새로운 훈련 방법과 모델 아키텍처 개발에 온 힘을 쏟던 시기였습니다. Transformer, AlexNet, GPT-3 같은 논문들이 세상을 바꾸었죠. 덕분에 딥블루가 체스 챔피언을 이기고, 알파고가 이세돌 9단을 넘었으며, 이제는 GPT-4가 변호사 시험까지 통과하는 시대가 열렸습니다.

이 시기의 주된 질문은 "어떻게 하면 모델을 더 잘 훈련시킬 수 있을까?"였습니다. 평가는 모델의 우수성을 입증하는 보조적인 수단이었죠. 더 나은 모델, 더 뛰어난 성능을 향한 숨 가쁜 질주가 바로 AI의 전반전 풍경이었습니다.

 

전환점: 이제 '무엇을' 풀 것인가? 🤔

하지만 이제 상황이 바뀌고 있습니다. 강화 학습(RL)이 언어 모델과 만나면서 특정 레시피만 따른다면 꽤 넓은 범위의 문제를 해결할 수 있게 되었거든요. 그러자 질문의 무게중심이 이동하기 시작했습니다. "어떻게 훈련할까?"에서 "AI로 무엇을 하도록 만들고, 그 진정한 가치를 어떻게 측정할까?"로 말이죠.

이것이 바로 Shunyu Yao가 말하는 '후반전'의 시작입니다. 이제는 단순히 모델을 훈련시키는 것보다, '어떤 문제를 풀어야 하는가'를 정의하고, '제대로 풀었는지 평가하는 것'이 훨씬 중요해졌습니다. 즉, 훈련(Training)보다 평가(Evaluation)가 더 중요해지는 시대로 접어든 것입니다.

구분	전반전 (The First Half)	후반전 (The Second Half)
핵심 질문	"어떻게 하면 모델을 더 잘 훈련할 수 있을까?"	"AI로 무엇을 하도록 만들고, 진정한 가치를 어떻게 측정할까?"
주요 초점	새로운 훈련 방법 및 모델 아키텍처 개발	문제 정의 및 실제 세상의 유용성을 측정하는 평가 방식 개발
중요도	훈련 > 평가	평가 > 훈련

 

새로운 경기장을 만들어야 하는 이유 🏟️

기존의 AI 평가 방식(벤치마크)은 대부분 자동화되어 있고, 정해진 데이터셋 안에서 독립적으로 평가됩니다. 하지만 현실 세계의 문제는 전혀 그렇지 않죠. 사람과 계속 소통해야 하고, 이전에 배운 경험을 활용해 새로운 문제를 해결해야 합니다.

⚠️ 주의하세요!
기존의 평가 방식에만 매달리면, 우리는 AI의 진짜 잠재력을 놓칠 수 있습니다. 마치 축구 선수를 100미터 달리기 기록으로만 평가하려는 것과 같습니다.

따라서 '후반전'의 승리를 위해서는 인간과의 상호작용, 장기적인 기억, 연속적인 작업 해결 능력 등을 제대로 평가할 수 있는 새로운 경기장, 즉 새로운 평가 체계가 필요합니다. 이런 고민이 결국 기존의 레시피를 뛰어넘는 혁신적인 AI 방법론의 탄생을 이끌 것이라고 Shunyu Yao는 주장합니다.

사용자가 개입하는 새로운 평가방법

💡

'The Second Half' 핵심 요약

전반전 (Past): '어떻게' 더 나은 모델을 만들까? (방법론 중심)

후반전 (Future): '무엇을' 풀고 '어떻게' 그 가치를 측정할까? (문제 정의 및 평가 중심)

핵심 변화: 훈련(Training) 중심에서 평가(Evaluation) 중심으로 패러다임 전환

우리의 과제: 현실 세계의 유용성을 반영하는 새로운 평가 체계(벤치마크) 구축

AI의 진짜 발전을 위해, 이제는 질문을 바꿔야 할 때입니다.

자주 묻는 질문 ❓

Q: "The Second Half"의 핵심 메시지는 무엇인가요?

A: AI 개발의 초점이 '어떻게 더 나은 모델을 훈련할까'에서 '어떤 문제를 풀고 그 가치를 어떻게 측정할까'로 이동하고 있다는 것입니다. 즉, 훈련보다 평가의 중요성이 커지는 '후반전'이 시작되었다는 메시지입니다.

Q: AI의 '전반전'과 '후반전'의 가장 큰 차이점은 무엇인가요?

A: '전반전'은 더 나은 모델을 만드는 '방법론'에 집중했지만, '후반전'은 AI의 실제 유용성을 검증하고 '올바른 문제를 정의'하는 '평가'에 더 집중해야 한다는 점이 가장 큰 차이입니다.

Q: 이 글을 쓴 Shunyu Yao는 누구인가요?

A: Shunyu Yao는 OPEN AI의 연구자로, 특히 대규모 언어 모델과 강화 학습의 결합, 그리고 AI의 추론 능력에 대해 깊이 있는 연구를 수행하고 있는 것으로 보입니다. 그의 글은 AI 개발의 미래 방향성에 대한 통찰을 제공합니다.

Shunyu Yao의 글을 통해 AI 개발의 현재와 미래를 다른 관점에서 볼 수 있었습니다. 단순히 더 뛰어난 기술을 만드는 것을 넘어, '우리가 풀어야 할 진짜 문제는 무엇인가'를 고민하게 만드네요. 여러분의 생각은 어떠신가요? 😊