제가 보다가 틀린 부분이 있을 수 있으니, 틀린 부분이나 문제가 되는 부분이 있으면 댓글에 남겨 주세요.
일단, 공부는 유툽에서
"언더스탠딩 : 세상의 모든 지식" 채널에서 보면서 알아봤습니다.
관련 참고 영상 링크 및 참조.
배경
튜링 테스트 (1950년)
1950년 제2차 세계대전 당시 암호 해독가였던 Alan Turing이 과학자들에게 도전장
질의자 하나와 응답자 둘을 준비, 응답자 중 하나는 컴퓨터고 나머지는 인간. 질의자는 어느 쪽이 컴퓨터인지는 모른다. 응답은 키보드로만 이루어지고 이 테스트에서 질의자가 어느 쪽이 컴퓨터인지 판별할 수 없다면 컴퓨터는 시험을 통과한다.
기계가 스스로 생각을 하는지 테스트 = Turing Test
사람과 대화를 했을 때 구분이 가능한 지
엘리자 (1966년)
ELIZA는 1960년대 MIT 교수 Joseph Weizenbaum이 개발한 최초의 챗봇
룰 / 패턴 일치 작업 (튜링테스트 통과 못함)
A.L.I.C.E (Artificial Linguistic Internet Computer Entity) (1995년)
휴리스틱 패턴 매칭 (XML 기반 스크립트로 패턴과 탬플릿 구성)
인간의 모든 일상 대화가 제한된 문장 내에서 이루어진다는 특성을 반영
패턴에 있는 문장 입력 → 답변 (튜링테스트 통과)
Spike Jonze의 영화 "Her" 영감을 얻음
IBM Watson (2006년)
IBM 창립자이자 초대 CEO인 Thomas J. Watson의 이름 활용
쇼 Jeopardy에서 질문에 답하는 프로그램을 설계
문제가 입력됨과 동시에 문제를 구성하는 키워드 조각을 분석하여 스토리지를 검색하여 일치하는 정답이 50%가 넘는 경우에 부저를 울리는 메커니즘.
헬스케어 : 암 센터에서 폐암 치료의 이용 (망함..) → 환자의 질병을 진단할 시 왓슨은 의사가 환자로부터 얻은 정보를 정리한 문서나 차트, 소견서, 혹은 검사 결과 등을 스캔해 질병의 원인으로 의심되는 정보를 얻는 방식을 취한다. 그런데 의사의 소견서에 적힌 개인적인 표현이나 혹은 요약된 정보를 이해하지 못했다.
법률 분야 : 판례 검색
가상 비서 (Siri, Alexa, Google Assistant) (2011년)
개인 비서처럼 사용자가 요구하는 작업을 처리하고 사용자에게 특화된 서비스를 제공하는 소프트웨어 에이전트이다.
인공지능(AI) 엔진과 음성 인식을 기반으로 사용자에게 맞춤 정보를 수집하여 제공
전화 걸기부터 미리 알림 설정, 웹 검색까지 가상 비서가 사람을 대신하여 작업을 수행 각종 스마트 가전기기나 차량에 탑재
GPT = Generative Pre-trained Transformer (2020년)
G는 생성 AI 언어 모델을 의미하는 Generative
P는 사전 훈련을 의미하는 Pre-trained
T는 아키텍처 Transformer
2018년 처음 발표된 모델
2020년 OpenAI에서 GPT-3 모델 발표
현재: GPT-3.5
GPT
기호적 접근 : 말을 기호적으로 다 구분 (예: 영어로 예를 들어 알파벳, 명사, 목적어, 5 형식 이렇게 정의..)
비기호적 접근: 사람의 신경망처럼 인공신경망을 만들어 AI를 생성
미분, 역전파 사용 → 텍스트도 변화하면 숫자다..
데이터에 등장하는 단어마다 고유의 정수를 부여 일반적으로 영어 문장은 모두 소문자로 바꾸고 구두점(,.;)을 삭제한 다음 공백을 기준으로 분리한다. 이렇게 분리된 단어를 토큰이라고 부른다. 하나의 문장(샘플)은 여러 개의 토큰으로 이루어지게 됨
관심이 가는 건 당신이 필요한 모든 것이다. 구글에서 발표 → OPEN AI 시장 진입
기존 신경망의 문제점: 앞에서 배운 것들이 뒤로 전달이 안 됨
vs 사람의 신경망: 중요한 내용을 뒤쪽 뉴런에 전달함
뉴런의 앞쪽, 뒤쪽 다 연결 (문장 중 특징을 전달 → 잊어버린 만한 특징들을 전달)
딥러닝은 학습할수록 특징을 축약함 → 축약 시 필요한 특징을 전달해 주도록
자연어 처리 분야에서 가장 널리 적용. 기본적으로 순서에 따라 각 글자와 단어의 중요성을 AI 언어 모델이 파악해 맥락과 텍스트의 의미를 이해 및 사람이 언어를 배우는 과정과 유사
Attention 모델: 위의 문제점을 개선하여 뒤쪽 뉴런에 정보를 전달하게 됨
어떤 걸 전달할 것인지도 알아서 찾음
언어의 구조 이해 = Bult (왼쪽 뇌)
말을 생성 = GPT (오른쪽 뇌)
OpenAI에서 만든 GPT-3 엔진 + 대화형 명령 머신러닝이 결합된 채팅앱 (서비스)
GPT(Genarative Pre-trained Transformer)-3 : 다양한 자연어들의 텍스트들을 기계 학습 매개변수(약 1750억 개)를 사용하여 학습을 하기 위해 만들어진 모델
언어의 구조 이해 = 비지도학습으로 텍스트를 알아서 학습 (인간의 말에는 이런 특징이 있네, 명사.. 형식)
Step1 = 질문-대답에 대한 수많은 데이터를 학습 (지도학습) 정답지를 준다. (Fine tuning = 모법답안)
Step2 = 생성된 대답 중 어떤 대답이 가장 좋았는지 선택하게 하는 모델 학습 (지도학습, 1년 동안 진행) 정답지 중 오류가 있는지 확인하고 모델로 만든다. (비 윤리적 답안.. )
Step3 = 생성-평가 반복하여 모델 학습 (강화학습) 정답지모델 ↔︎ 학습모델을 계속 돌리면서 정확도 향상
추론 / 지식 / 대화능력 / 창의력 / 개성 / 맥락 / 감정이입
접근 Point
ChatGPT를 같은 걸 만들려면… 엄청난 규모의 비용(돈, 인력, 인프라, …)이 들기 때문에 특정 분야에 대해서만 파는 전략이 필요
