인공신경망 (ANN) 기초

• 구성요소
  • 퍼셉트론
    • 선형분류알고리즘
    • 층을 이룰수 있음
      • 여러층이면 CNN
  • 활성화함수
    • 입력신호의 총합을 출력신호로 변환
    • 기존 : 계단함수 사용
      • 0or 1
    • 딥러닝
      • Sigmoid : 참에 가까워지면 0.5- 1 , 거짓 0-0.5
      • Relu : 0보다 크면 그대로 이하 0로 출력
• 가중치 : 노드와의 연결계수
• 학습순서
  1. 미니배치
  2. 가중치매개변수기울기산출
  3. 매개변수 갱신
• 오차역 전파 : 오차를 출력 > 입력층으로 전달
  • 가중치 매개변수 기울기를 미분 진행하지않고
  • 연쇄법칙을 활용한 역전파를 통해 가중치 편향계싼
• 과적합의 문제
  • 가중치 감소
  • 드롭아웃: 은닉층뉴런 삭제
  • 초 매계변수 최적화

종류

• 심층 신경망(DNN) : 입력층과 출력층 사이에 여러 개의 은닉층들로 이루어진 인공 신경망
• 합성곱 신경망(CNN) : 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론의 한 종류
• 순환 신경망(RNN) : 인공 신경망을 구성하는 유닛 사이의 연결이 directed cycle 을 구성
• 심층 신뢰 신경망(DBN) : 잠재변수의 다중계층으로 이루어진 심층 신경망

관련 문서

• 머신러닝 기초