나는 막연하게 인공지능이 학습한 데이터나 인터넷을 토대로 대답한다고 생각했다.
100tB의 데이터를 학습하고 10tB로 정리해서 저장하고 있다가, 관련 질문이 들어오면 해당 내용을 찾아 대답하는 느낌?
근데 전혀 아니라는 게 아주 놀라웠다.
학습과정을 통해 인공신경망의 뉴런들이 파라미터를 수정하게 되고, 오로지 이 파라미터 만으로 생각하고 대답하는 거였다.
최대한 간소화하고 가정을 곁들여서
학습이 완벽하게 된 모델이 있고 이 모델이 1000억개의 파라미터를 쓴다면, 파라미터당 4바이트이기에 대충 373GB가 안되는 용량이 되는데, 이정도 용량이면 개인용 pc에도 설치 가능한 수준이다.
내 pc가 외계인 기술로 cpu와 gpu, ram 등 컴퓨터 리소스가 말도 안되게 좋아서 이 모델을 구동하는 데 전혀 문제가 없다면, 373GB짜리 코드로 왠만한 질문은 훌륭하게 대답해주는 개인 ChatGPT가 생기는 것이다.
물론, C언어 공식 문서를 전부 읊어줘~ 이런 내용은 불가능하지만, C언어 개요나 문법, 함수 등은 문제없이 설명해 줄 것이다. 마치 사람같지 않은가? 누가 교과서를 달달 외울 수 있을까? 교과서 내에 내용들은 모두 이해할 순 있어도
72p 3번째 문장 첫 글자 알려줘. 이런 건 못하는거지
학습이라는 걸 배우고, 이해하고, 암기하는 느낌이라 생각했는데, 그래서 내가 아는 내용은 내 머릿속에 저장된 거라 생각했는데, 어쩌면 우리 뇌도 데이터베이스에 정보를 차곡차곡 쌓는 게 아니라 신경망의 상호작용으로 기억하고 활용하는 건 아닐까? ChatGPT를 뜯어봐도 '사과'란 단어는 나오지 않듯이 우리 뇌에 어디에도 사과라는 단어는 저장되어있지 않을지도
하지만 사과를 떠올리면 빨갛다 맛있다 시다 달다 나무 벌레 등등 연관되는 느낌일지도
결국 학습이 완료된 파라미터만으로 ChatGPT가 대답해주는 거면, 구조적인 한계가 명확하다.
ChatGPT처럼 범용적인 놈은 내 C언어 질문에도 대답해주고, 어떤 의학 지식도 알려주고, 그림도 그리고, 글도 짓고 해야하니까 파라미터가 많아질 수 밖에 없고 전문성은 떨어질 것
깃헙코파일럿 같은 개발자전용 ai는 개발에만 집중해서 학습된 파라미터일테니 다른 분야에선 좀 모자라도 코드 하나는 더 전문적으로 짜주는거고
만약에 Rust만으로 학습시키면 Rust 전문 ai가 되는거고
그럼 터미네이터나 아이로봇같은 휴머노이드를 만들려면 범용ai가 돼야할텐데, 파라미터 저장용량은 충분히 사람크기 안에 넣겠지만, 그래픽카드 같은건 절대 구겨넣을 수 가 없을텐데
학습을 미리 끝내고 넣더라도 운동기능부터 다양한 사고까지 가능하려면 모자랄 것 같고
또 생각해보면 사람이 그렇게 똑똑하지는 않은 것 같고, 한 국가의 언어로 의사소통가능하고, 상식수준의 지식만 있다고 치면 요즘 나오는 apu로도 충분히 구동할 수 있지 않을까?
아주 멍청하지만 대화가 가능한 ai친구를 만들 수 있지 않을까? ㅋㅋ