확률로 보기

expectation        ≠    average (mean)

이론적인 평균값    ≠    진짜 샘플들의 평균값

1. y = 2x + n   (n은 노이즈), y의 평균은 얼마인가?

E[y] = E[2x + n]
E[y] = E[2x] + E[n]

E[n]=0 이라면, y의 평균은 2x

확률변수는 y, n  

     랜덤성이 없으면 확률변수가 아니다.
     그래서 2x는 확률변수가 아니다.
     확률변수가 아닌 건 기대값의 의미가 없다.


2. y = (2x + n)**2, y의 평균은 얼마인가?

n의 평균이 0이고 분산이 1이면

4x**2 + 4xn + n**2

E[4x**2] + E[4xn] + E[n**2]

y의 평균은 4x**2 + 1.  이것이 의미하는 게 무엇일까?


y = (2x + n)**2 = 4(x + n/2)**2

y = 4(x + n/2)**2 의 그래프 :  n은 2일 때, x는 -1.  n은 -2일 때  x는 1...

MSE
batch
mini-batch
gradient descent
error curve

BGD는 모든 n에 대해서 경사하강법 실행 >>> 기울기가 여기저기 마구마구 그려져 zigzag 가 심해진다

mini-batch gradient descent를 하면 예컨대 100개 정도 average를 계산하므로 조금 덜 왔다갔다하게 된다. >>> 중심극한정리?

Q : y = wx +b에서 확률변수는 무엇인가?