본 장에서는 컴퓨팅사고와 인공지능의 수업자료를 기반으로 필요요소만을 정리하도록 하겠다. 추가적으로, 인공지능이란? 같은 절차적인 내용들은 스킵하고 큰 인공지능의 가닥을 알아보는것을 목적으로 가겠다

<aside> <img src="/icons/key-antique_gray.svg" alt="/icons/key-antique_gray.svg" width="40px" />

단어정리.zip

• one-hot-vector : Nx1 vector에서 하나만 1이고 나머지는 0인 벡터

  ⇒ 보통 정답(label)을 표현할때 많이 이용하는 vector이다

• Hoeffding inequality : 차원의 저주를 서술하는 부등식

  ⇒ 차원이 커짐에 따라 n승배로 데이터가 많아져서 차원증가시 신뢰성이 떨어진다는 이야기

  (대충 봐도 동일 데이터인데 차원늘리면 밀도 떨어지니 신뢰성이 떨어지는건 당연함;)

• Validation/test data-set : over-fiting막기 위한 새로운 데이터셋

• Semantic gap : 컴퓨터데이터와 사람이 느끼는(고수준)의 의미정보차이

  e.g. 컴퓨터는 색,위치정보만 알고 고양이임을 알 수 있지만 고양이 기분 추정은 쉽지않음

• Softmax classifier : label과 결과의 차이를 확률적으로 서술하기위한 기술

  이는 $e^{data_k}/e^{data_{all}}$로 계산되며, exp를 통해 label간의 차이를 늘리고, 전체로 나누어 합이 1이 되는 확률적 기교를 보인다.

• Data form : (data_num, pix_x, pix_y, data2, data…) → pix_x X pix_y 이미지가 data_num개있고, 색데이터가 data2개로 있고… 이런식…

• SVM(Support Vector Machine) : 데이터간 경계의 Margin을 Max로 하는 방

• SGD(Stochastic Gradient Descent) : 확률적 경사하강법으로, 데이터 기반 경사하강법

• 코퍼스(Corpus) : 언어모델을 학습하기 위한 텍스트 덩어리 (문단느낌)

• 토큰(token) : 코퍼스에서 얻은 문장을 잘게 자른 단위 (한 글자라는건 X)

• 임베딩(Embedding) : 토큰을 벡터로 바꿔 모델에 입력하도록 해주는 행위

• 사전학습(Pre-training) : task없는 상태에서 대량 문장을 기반으로 언어 규칙을 이해하는 학습

• OOV(out of vocabulary) : 언어사전에 없는단어를 받은 경우 = 모르는 단어를 본 경우

• 인코더 (Encoder) : 입력 문장을 벡터 형태로 변환

• 디코더 (Decoder) : 벡터 형태의 문장을 다시 텍스트로 변환하여 출력 </aside>

AI의 전체적인 구조

Learning이란? : Train데이터를 기반으로 파라미터를 세팅하여 Test set을 맞추는 행위

AI 
├─ 1) Rule-based, Symbolic
│   └─ 사람이 IF–THEN와 같은 rule을 직접 작성해서 동작 -> 이에따라 룰수정방식에 따라 결과가 종속
│ 
└─ 2) Big data-baed 
    └─ 기계학습 (Machine Learning, ML)
        │ 
        ├─ (A) 지도학습 (Supervised Learning)
        │   ├─ 전통적인 ML (SVM, RF 등)
        │   └─ 딥러닝=DNN (CNN, MLP 등)
        │
        ├─ (B) 비지도학습 (Unsupervised Learning)
        │   ├─ 전통적인 ML (K-means 등)
        │   └─ 딥러닝 (오토인코더 등)
        │
        └─ (C) 강화학습 (Reinforcement Learning, RL)
            ├─ 전통적인 RL
            │   └─ 테이블 기반, 간단한 함수 근사 등
            └─ 딥 강화학습 (Deep RL)
                └─ 신경망(딥러닝)을 써서 상태 -> 행동 정책을 학습

----

뉴런한가닥 = Perceptrone

$$ z=wx+b $$

이 위의 선형결합식이 사실 mono-perceptrone이라고 할 수 있다. 퍼셉트론은 AND/OR연산자를 하기위한 하나의 방식이다.

이 그림을 보면 알 수 있듯, 어떠한 데이터의 경계를 나누는 하나의 직선(위에서 표현한 수식)을 기반으로 데이터를 분류해낼 수 있다. 이러한 전략이 단일 perceptrone의 작동방식이다.

Note* 이때, XOR연산(그림의 우측)과 같은 건 하나의 perceptrone=line으로는 분류하지 못함을 수학적으로 증명됨 ⇒ 다층퍼셉트론(MLP)로 이문제를 해결하려고 함

MLP (Multi Layer Perceptrone)