questionet
확률로 보기 본문
expectation ≠ average (mean)
이론적인 평균값 ≠ 진짜 샘플들의 평균값
1. y = 2x + n (n은 노이즈), y의 평균은 얼마인가?
E[y] = E[2x + n]
E[y] = E[2x] + E[n]
E[n]=0 이라면, y의 평균은 2x
확률변수는 y, n
랜덤성이 없으면 확률변수가 아니다.
그래서 2x는 확률변수가 아니다.
확률변수가 아닌 건 기대값의 의미가 없다.
2. y = (2x + n)**2, y의 평균은 얼마인가?
n의 평균이 0이고 분산이 1이면
4x**2 + 4xn + n**2
E[4x**2] + E[4xn] + E[n**2]
y의 평균은 4x**2 + 1. 이것이 의미하는 게 무엇일까?
y = (2x + n)**2 = 4(x + n/2)**2
y = 4(x + n/2)**2 의 그래프 : n은 2일 때, x는 -1. n은 -2일 때 x는 1...
MSE
batch
mini-batch
gradient descent
error curve
BGD는 모든 n에 대해서 경사하강법 실행 >>> 기울기가 여기저기 마구마구 그려져 zigzag 가 심해진다
mini-batch gradient descent를 하면 예컨대 100개 정도 average를 계산하므로 조금 덜 왔다갔다하게 된다. >>> 중심극한정리?
Q : y = wx +b에서 확률변수는 무엇인가?
'Deep questions > 수학적 바탕' 카테고리의 다른 글
선형변환과 linear layer 의 관계 (1) | 2024.02.20 |
---|---|
정규화 (0) | 2021.08.24 |
단어 벡터(word vector), 코사인 유사도(cosine similarity) (1) | 2021.02.14 |
Comments