" 규모의 법칙"을 벗어날 수 없다.
ChatGpt는 대회형 거대언어
트랜스포머 모델이다.
컴퓨팅 파워를 올린 후
학습데이터를 높이고
매개변수를 크게 하면 일관되게
성능이 좋아진다.
"로우 업 스케일 "이다.
ChatGpt는 5조 개로 분석
비슷한 맥락에서 수백, 수천 차원의
관계지도를 만들어 낸다.
페이스북 "라마 3.1" 모델은
공개적으로 사용 가능한 데이터 소스
약 15조 토큰의 데이터로 학습되었으며,
2023년 12월까지의 최신 데이터를
학습함으로 그 스케일은 가히 압도적이다.
Meta Llama 3.1 405B는 High 요금이 있지만
무료사용버전도 있다.
Chat.GPT는
고가의 A100 GPU 만대를 사용하고
100일 동안 가동하여
학습연산량의 10 ²² 를 넘어가며
느닷없이 나타난 능력을 발견한 것이다.
ChatGpt는 이미 3000억 개의 단어와
5조 개의 문서, 머지않아 세상의 모든 문서가
입력될 것이다.
이 방대한 자료는 사람의 두뇌가 이해하고 사용하는 것보다 초월적인 능력이 있다.
ChatGpt는 엔비디아(NDVIA)가 개발한
계산 연산장치인 GPV A100이 장착돼 있어 1초에 312조 번 연산이 가능하다.
현재 출시되는 H100은 4천만 원을 호가하지만,
A100에 비해 텐서코어의 수가 1,200개 이상,
메모리 대역폭이 60% 이상 증가하여
보다 높은 연산 기능을 보여준다.
AI의 출현으로 전문직이나,
일정한 패턴이 있는 직종은
모두 일로부터 해방될 예정이다
기자, 변호사, 의사가 하는 일은 물론,, 과학자, 개발자, 기술자, 예술의 영역도 포함된다.
AI특징을 3가지로 분류한다면
1. 설명할 수 없다. (이유모름)
2.Emergence(창발성) 이다.
3. "규모와 법칙"을 따른다.
초창기 ChatGpt는 미국 변호사 시험을
하위 10%로 통과했지만
ChatGpt4는 상위 10%로 통과했다.
"Omnl"는
Voice To Voice 멀티모달모드이고
"O1"은 추론과 수학, 의학에 특성화되어
의사시험을 최상위 1%로에 통과했다.
이젠 사람보다
AI에 의존하고 살아갈 날이
코앞으로 다가왔음을 직감한다.
