본문 바로가기

statistics

(8)
최소 제곱법 (Least Square Method = OLS) 최소제곱법이란, "Least Square Method" or "Ordinary Least Square"으로 불리며 오차를 최소화 시키는 방법으로 회귀 계수($\beta_0, \beta_1$)를 추정하는 기법입니다. 단순 선형 회귀(이하 회귀)란 설명변수와 반응변수간의 관계를 선형식으로 나타내는 방법입니다. $$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$$ $$\varepsilon_i \sim N(0, \sigma^2), \ i = 1,2,\cdots,n$$ 하지만 두 변수간의 관계를 정확히 일직선으로 나타낼 수 없으니, 우리는 관계를 가장 잘 나타낼 수 있는 $b_0, b_1$을 추정해야 하고 이 $b_0, b_1$을 추정하는 방법 중 하나가 바로 최소제곱법(Least..
(통계 용어) 자유도 (Degree of Freedom)란? 통계를 하면서 정말 많이 보는 것중 하나가 자유도입니다. 자유도... 많이 접하지만 막상 설명하려면 하기 어려운 용어인 것 같습니다. 이 자유도에 대해서 한번 이야기 해보겠습니다 : ) 자유도의 의미 1. (Wikipedia) 통계적 추정을 할 때 표본 자료 중 모집단($x$)에 대한 정보를 주는 독립적인 자료의 수. 2. (나무위키) "변인의 수 빼기 제약" 3. 자유로운 수 자유도의 의미는 위와 같이 여러 방법으로 이야기 할 수 있으며, 구글 검색만 해도 정말 많은 블로그에서 소개하고 있습니다. 제가 이해하기 편한 자유도의 의미는 "확률변수로부터 자유롭게 선택될 수 있는 자료의 수" 입니다. 흔히 자유도를 이야기할 때 자주 사용하는 $\bar{X}$와 $S^2$으로 이야기 해보겠습니다. 1. 표본평균..
(통계 용어) 유의수준 and 유의확률 제 1종 오류($\alpha$) 귀무가설과 대립가설 검정통계량 설명에 앞서 위 개념에 대해 잘 모르신다면, 아래 글을 읽고 오시면 이해하시는데 도움이 될 것입니다 :) → (통계 용어) 제 1종 오류, 제 2종 오류, 검정력 (통계 용어) 검정력 (Power) 유의수준($\alpha$) 제 1종 오류를 범할 최대 허용치 → 이 값은 사전에 "미리" 오류의 허용 범위를 지정하는 것으로서, "관측치와 무관한 값"입니다. 위의 그림에서 "검정통계량값 2"를 갖는 경우 귀무가설($H_0$)이 기각된다고 할 수 있습니다. ※ 유의수준 95% vs 99% 95%의 경우가 99% 보다 $H_1$을 지지하는 검정통계량 값을 많이 허용합니다.$\\$ 99%가 95%보다 $H_0$을 더 옹호합니다. 유의확률 (p-valu..
(통계 용어) 표준 편차 vs 표준오차 표준편차 와 표준오차 통계를 공부하는 사람이라면, 표준편차에 대해 많이 들어봤을 것입니다. 그렇다면 표준오차는 무엇일까요? 표준편차랑 같은 것일까요? 그 차이점에 대해 이야기해보겠습니다. 표준편차 (SD, Standard Deviation) 자료가 평균으로부터 얼마나 퍼져있는지 나타내는 지표 아래의 그림에서 $\sigma$에 해당합니다. 표준오차 (SEM, Standard Error of the Mean) 표본의 평균이 얼마나 모평균에 가까운지 나타내는 지표 여기서, SEM은 두 가지 특징을 갖습니다. 모집단의 변동과 추출된 표본의 개수에 따라 좌우된다. $\\$ 그러나 실제로는 하나의 표본만 추출하므로, $\\$이 표본의 표준편차(SD)와 표본수를 이용하여 표준오차(SEM)를 추정. 표준편차(SD)와 ..
(통계 용어) 검정력 (Power) 검정력이란, 대립가설($H_1$)이 참일 때, 귀무가설($H_0$)을 기각할 확률로서, $power$ 또는 $1-\beta$로 나타낸다. (조금 더 자세한 내용은 이곳을 참고해주세요) 검정력 함수 귀무가설($H_0$)을 기각할 확률을 모수값의 함수로 나타낸 것을 의미합니다. 검정 통계량 가설의 옳고 그름을 판단하는데 기준이 되는 통계량 입니다. 모수에 대한 추정량의 함수로, 검정통계량의 관측값은 데이터가 대립가설($H_1$)을 지지하는 정도를 의미합니다. (그러나 강약은 알 수 없습니다.) 검정통계량의 분포 귀무가설($H_0$)이 사실이라는 전제하에 구하게 됩니다. $H_0 : \mu = 0$ vs $H_1 : \mu =3$ 일 때, $\frac {\bar {X}-\mu}{s/\sqrt..
(통계 용어) 제 1종 오류, 제 2종 오류, 검정력 대립 가설($H_1$) : 주장하고자 하는 가설 귀무 가설($H_0$) : 그것에 반하는 가설 제 1종 오류 - $\alpha$ or $\alpha(\theta)$ 귀무가설($H_0$)이 참일 때, 귀무가설($H_0$)를 기각하는 오류 입니다. 제 2종 오류 - $\beta$ or $\beta(\theta)$ 대립가설($H_1$)이 참일 때, 귀무가설($H_0$)를 기각하는 채택하는 오류 입니다. 검정력 - $power$ or $1-\beta(\theta)$ 대립가설($H_1$)이 참일 때, 귀무가설($H_0$)를 기각하는 오류 입니다. (검정력, 검정 통계량에 관한 내용은 따로 정리하였습니다.) ※ 위 세 값을 식으로 표현하면 다음과 같습니다. 제 1종 오류 : $P(H_0 기각 | H_0 참)$ 제 ..
(통계 용어) 통계량, 추정량, 추정치 통계량 : 표본에 따라 변동하는 확률변수 (→ 표본을 뽑을 때마다 값이 변합니다.) Ex) 표본 평균, 표본 분산 etc 추정량 : 미지의 모수($\theta$)의 추정에 사용되는 통계량 (→ 통계량의 일부입니다.) Ex) $\bar {X} = \sum {X_i \over n}$ 추정치 : 확률 표본의 특정한 관측값에 대한 추정량의 관측값 (→ 즉, 추정량에 실제 관측값을 대입하여 나온 값을 의미합니다.) Ex) $\bar{x} = \sum {x_i \over n}$
(Beginner) A.I vs M.L vs Deep Learning A.I vs Machine Learning vs Deep Learning 이 세 개념의 차이는 무엇일까? 먼저, 그림으로 보고 시작하자. 위 그림만으로도 어느 정도는 세 개념의 관계와 차이를 알 수 있을 것이다. 그럼 이제 각 개념이 어떤 것인지 알아보자. (단, 여기서는 깊고 심도있는 내용이 아닌 "아 이런 느낌이구나?" 하는정도의 내용을 다룰 것이다.) 1. A.I Artificial Intelligence의 약자로서, 단어 그대로 인공적으로 만들어진 지능을 의미한다. 즉, 인간의 지적 능력인 "학습, 추론, 지각 등"의 기능을 컴퓨터가 할 수 있도록 만드는 기술을 폭넓게 의미한다. 2. Machine Learing A.I의 하위분야 중 하나로 "기계학습"이라고도 한다. 즉, 데이터를 통해 컴퓨터가 ..

반응형