GPT-4를 능가할 GPT-5의 출시 예정?

OpenAI 에서 출시 예정인 GPT-5에 대해

 

OpenAI 대표이사 Greg Brockman은 GPT-5를 학습하고 있다는 트위터 게시글을 올렸어요.

OpenAI는 보통 축소된 모델로 (1/1000 정도) 학습을 시키고 전체 모델 학습을 하는데

이번에는 GPT-5 전체 모델의 학습이 예상된다고 합니다.

또한, GPT-5 사용 시 유용한 팁과 초기 마감일 정보도 있어요.

 

 

OpenAI 에서 언급한 GPT-5 학습은 어느정도 걸릴까?

 

OpenAI는 보유한 리소스를 최대한 활용하여 GPT-5 학습을 진행 중이라 합니다.

이전 모델인 GPT-4의 학습에는 약 3개월이 소요되었으며

GPT-5 출시일은 아직 언급되지 않았어요.

OpenAI의 연구자들은 거대 GPT 모델 학습에 대한 의미와 기대감을 공유했어요.

GPT-5의 매개 변수, 데이터 및 성능에 대한 내용은 추후 공개 예정이에요.

 

 

 

GPT-5의 출시 방식?

Red team의 지원신청 기한이 마감되었고, 이제 새로운 모델의 안전성 테스트를 시작할 예정이라고 합니다.

GPT 모델이 완전히 학습이 완료되기 전에 여러 체크포인트를 거치게 되는데,

이는 비디오 게임의 세이브 지점과 비슷한 개념이라고 볼 수 있어요.

OpenAI의 Greg Brockman은 이전 GPT-4의 체크포인트를 이용하는 방식으로

점진적으로 더 나은 AI 시스템을 구축할 수 있다고 밝혔어요.

또한 OpenAI는 더 이상 메이저 LLM 모델을 뜨문뜨문 업데이트 하는 것 보다

이런 체크포인트를 이용하는 방식을 선호한다고 설명했어요.

 

 

 

GPT-5 시스템의 주요 특징은?

 

OpenAI는 작은 버전의 GPT-5를 학습시켜 결과를 예측하고 이해하기 위해 노력했어요.

GPT-5에서는 GPT-5 만의 추론 단계를 구성하여 성능 개선 해결책을 찾기 이전에

이를 내/외부적으로 확인할 수 있는 방식을 채택할 것으로 보여요.

또한, GPT-5에서는 다중 모달리티의 개념이 중요해질 것으로 예상돼요.

텍스트 뿐만 아닌 음성, 영상 데이터 등을 처리해서 더욱 고차원적인 응답이 가능한 AI 시스템이 발전한다는 뜻이죠.

이에 따라 AI 모델의 추론 능력과 신뢰도가 크게 향상될 것으로 예측됩니다.

 

논문 'Let's Verify' 의 핵심내용

 

OpenAI의 'Let's Verify' 논문은 Reasoning Steps와 10,000번의 샘플링을 포함하고 있어요.

이전 비디오에서 'Let's Verify'에 대한 자세한 내용은 다루지 않았지만,

GPT-4를 1,000번 이상 샘플링하고 최상의 응답을 선택할 때 어떤 일이 발생하는지를 논문 속 차트에서 보여주고 있어요.
이렇게 수천 번 샘플링을 거쳐 가장 높은 점수를 받은 Reasoning Steps를 채택하는 것은

수학 영역에서의 성능을 두 배로 향상시켜요.
또한, 이 방법은 수학 뿐만 아니라 STEM 분야 전반에도 동일한 효과를 보여요.
그리고 'Let's Verify' 논문에서는 DeepMind의 수학 문제 해결에 대한 논문과

Google DeepMind의 AlphaCode2를 이용한 코딩 대회 결과를 인용하고 있어요.

GPT-5에게 사고하는 방법을 찾는다면 코딩, 수학, STEM 분야에서의 성능 차이가 있을 것으로 예상돼요.

 

 

 

GPT-5는 어떤 이유로 GPT-4보다 더 많은 파라미터를 가지게 될까?

 

 

Gavin Uberti는 21세로 Harvard 대학 중퇴생이며, Etched AI의 CEO에요.
인터뷰에서 그는 GPT-5의 파라미터 수는 GPT-4보다 10배 가량 더 많을 것이라 추정한다고 했어요.
이는 더 큰 임베딩 차원, 더 많은 레이어, 그리고 전문가 수의 2배 조합에서 기인할 것이며, 

차원이 커질수록 다양하고 세밀한 훈련이 가능해지고, 

더 많은 레이어를 가질 수록 좀 더 복잡한 패턴 인식 및 분석이 가능해진다는 것이 그의 설명이에요.

 

GPT-5 모델에서 개선해야할 점

 

 

GPT-5에서는 대화 속도가 느릴 뿐더러 단어 인식이 아직은 느리다고 해요.
따라서 LLM을 운영 체제로 사용하여 대화 속도를 개선하려는 계획이 있다는데,

이번에는 비전을 차용해서 시도할 예정이라고 해요.

 

 

 

※ 본 포스트는 유튜브 AI Explained 의 GPT-5 최신정보 소개 영상을 요약한 포스트 입니다.

https://www.youtube.com/watch?v=Zc03IYnnuIA