*Rules
1. Chapter별로 내용 정리, Chapter별 중요 내용 정리
2. Chapter별 연습문제 스캔해서 올리기
3. 각종 예제들 적기
*Chapter 1 Finite-Sample Properties of OLS
-Abstract
-Finite-Sample Properties란, sample size가 무엇이든 성립하는 properties를 가리킨다.
-OLS는 Estimation의 가장 basic
-Section 1.1 The Classical Linear Regression Model
-가정 Linearity(1)
-추정 계수는 marginal effect를 가리킨다.
-simple regression model이란, nonconstant regressor가 1개일 때를 가리킨다.
-semi-log form이란, 종속변수가 log를 취한 형태일 때를 가리키고, 이때의 추정계수는 percentage change를 가리킨다.
-regressor의 함수형태를 다양하게 도입할 수 있다. 이때 error term이 additive인지 multiplicative인지 판단 중요
-error term이 multiplicative이면 semi-log form가능하지만 아니면 nonlinear regression 이용
-실제로 nonlinear regression은 chapter 7에서 다룸
-가정 Strict Exogeneity(1)
-Strict Exogeneity, 즉 conditional expectation of error terms on data matrix = 0이란 가정에서 = 0 이란 가정이 그렇게 강력하지는 않은게, constant regressor를 도입하면 되므로
-expectation의 성질을 이용해 implications를 얻음(unconditional mean, orthogonal, uncorrelated등)
-대부분의 time-series에서는 strict exogeneity를 근거로한 finite-sample theory가 없음, strict exogeneity가 성립 잘안함
(large-sample theory는 많음)
-strict exogeneity가 성립하지않는 예로는 AR(1)이 있음
-가정 Strict Exogeneity(1-2)
-conditional을 오직 contemporaneous i에 대해서만 줄 때
-가정 Strict Exogeneity(1)보다 약함
-가정 No Multicollinearity(1)
-regressor 개수보다는 observations의 개수가 많아야한다는 의미를 지님(가정의 필요조건)
-종류가 다른 regressors의 실제 다른 값을 갖는 예가 있어야 한다는 의미를 지님
-실제 추정에서의 의미는, OLS estimator for coefficient을 구할 때, (X'X)의 positive-definite, 따라서 invertible보장해줌)
-가정 Spherical Error Variance(1)
-error term이 i에 대해서 분산이 일정하다는 의미
-게다가 no serially correlation이란 의미
-Classical Regression Model for Random Sample일 때는
-random sample(즉 iid로 종속변수와 독립변수를 얻을 때)는 strict exogeneity와 Spherical Error Variance가 reduce됨
-Spherical Error Variance가 reduce되긴 하지만, 없어지진 않는다.
-iid라해서 functional form은 같다는 걸 알지만, observation index i에 대해서 constant여야함은 iid로 얻어지지않음
-Review questions
-1번:측정단위가 달라지면 어떻게 변하는가?
-2번:random sample에서의 Spherical Error Variance가정의 형태
-3번:combining linearity and strict exogeneity(즉 가정 2개를 합치면 필요충분조건 1개 얻음)
-4번:random sample이 joint distrb가 normal인 경우, 가정 4개를 한번에 다만족함을 알 수 있다.
-5번:simple regression model에서는 No Multicollinearity가정은 nonconstant regressor가 실제로 nonconstant냐는 것과 동치
-6번:Strict Exogeneity와 Spherical Error Variance는 unconditional 통계량도 알 수 있게 해준다.
-Section 1.2 The Algebra of Least Squares
-OLS-estimator란 SSR를 최소화 시킨다.
-이로소 OLS-estimator는 large residuals은 제거하고 small residual을 포함하는게 배경
-OLS-estimator는 normal equations(first-order necessary condition)을 통해 구할 수 있다.
-OLS-estimator는 data matrix로 표현하거나, sample averages의 곱으로 표현하거나, 2가지 표현가짐
-선형대수에서 Projection(P)과 annihilator matrix(M)를 이용하면, 최소화된 SSR의 표현이 error term으로 표현가능
(error term으로 표현해야, OLS의 가정들을 어떻게 쓸 지 보인다. 따라서 OLS의 성질을 증명하는 데에 있어서 먼저 error term으로 표현하는 게 첫 과정)
(다른 것들도 P,M이용시 표현 간결하게 됨)
-OLS에서 추정해야되는 대상은, regressor coefficient도 있지만, error term의 variance도 있다(in Spherical Error Variance Assumption). OLS-Estimator for error term variance 또한 정의할 수 있다.
-몇가지 Regression의 정확도 지표
-Uncentered R-Squared
-[0,1]의 값을 가지며 1에 가까울수록 설명력이 강함
-종속변수든 regressor든 측정단위변화해도 값변화하지 않음
-Centered R-Squared(Coefficient of determination이라고도 함)
-regressors중 constant가 있어야 [0,1]의 값을 가짐
-constant항이 없다면 음수가 될 수도 있음
-통계프로그램중 상수항이 없을 때, centered R-squared를 그대로 구해주는 게 있는 반면, 상수항이 없다면 uncentered R-squared를 구해주는 프로그램도 있다. 따라서 사용하는 통계프로그램이 R-Squared를 어떻게 구해내는지 확인할 필요 있다.
-(Page 21, this is a miexeed blessing부터 이해안됨 특히 seasonal dummy variable...)
-종속변수든 regressor든 측정단위변화해도 값변화하지 않음
-1에 가까울수록 설명력이 강함
-Influential Analysis(Optional)
-outlier를 체크하는 방법, influential data를 체크하고 그것을 제거하여 다시 estimate할 수도 있다.
-OLS-Estimator를 실제 컴퓨터로 계산시 유의사항
-regressors끼리 측정단위를 유사한 크기로 만들어라. 그래야 계산오류가 적음(floating-point numbers의 한계극복법)
-data matrix를 transform해서 이용하기도 함. 예를 들어 QR-Decomposition이용
-Review questions
-1번:data matrix^* 곱 data matrix의 positive-definite(from No Multicollinearity 가정)
-2번:(data matrix^* 곱 data matrix)/n의 sample average형태로 표현
-3번:constant regressor가 있는 simple regression model에서 data matrix^* 곱 data matrix의 sample average형태이해와, OLS-estimator의 구체적인 형태
-4번:Projection Matrix의 idempotent, Hermitian, annihilator의 성질
(교재에서의 Projection Matrix는 orthogonal projection matrix이고, 따라서 Hermitian, idempotent, annihilator도 orthogonal projection matrix, 따라서 Hermitian, idempotent)
-5번:
-fitted value vector는 projection matrix*원래 y vector
-OLS residual vector은 annihilator matrix*원래 error term vector
-6번:종속변수든 regressors든 측정단위를 변화시켜도 R-squared(centered든 아니든)은 변하지 않는다.
-7번:Uncentered R-squared와 centered R-squared사이의 관계
-8번:Uncentered R-squared의 다른 표현(using Projection matrix)
-9번:결국엔 관심사는 추정계수, 최소 SSR, OLS-estimator for error term variance, R-squared인데, 이 4가지는 다음 4가지를 통해 구할 수 있다. 따라서 OLS를 함에 있어서 다음 4가지를 적어도 1번은 구해야한다.
-sample average of data matrix^*(X) 곱 data matrix(X)
-sample average of data matrix^*(X) 곱 data matrix(y)
-sample average of y^2
-sample average of y
-Section 1.3 Finite-Sample Properties of OLS
-OLS-estimator for coefficient의 finite sample properties
-가정 linearity(1), strict exogeneity(1), No Multicollinearity(1)일 때
-unbiased
-가정 linearity(1), strict exogeneity(1), No Multicollinearity(1), Spherical error variance(1)일 때
-estimator의 conditional variance on data matrix의 형태
-BLUE(in the sense that conditional variance on data matrix)
(unconditional variance of estimator도 최소 of linear and unbiased임을 알 수 있다.)
-conditional covariance of OLS residual vector and OLS-estimator for coefficient on data matrix = 0
-OLS-estimator for error variance의 finite sample properties
-가정 linearity(1), strict exogeneity(1), No Multicollinearity(1), Spherical error variance(1), n>K(n=K을 배제해서 estimator정의되게끔)일 때
-unbiased
(이것을 이용하면, estimator의 conditional variance on data matrix 또한 estimate가능
-Review questions
-1번:No Multicollinearity의 의미(data matrix^* 곱 data matrix의 invertible보장)
-2번:Consumption function example에서, linear and unbiased estimator different from OLS 존재성
-3번:Gauss-Markov Theorem은 OLS-estimator가 Linear in 종속변수 이면서 unbiased중에서 best란 것
-4번:unconditional variance of OLS-estimator for coefficient임도 알 수 있다.
-5번:error term을 알수만 있다면 굳이 OLS-estimator for error variance를 SSR/(n-k)할 필요없이 unbiased한 것 쉽게 앎
-6번:"-conditional covariance of OLS residual vector and OLS-estimator for coefficient on data matrix = 0" 증명
-7번:influential analysis에 쓰이는 Projection matrix의 대각성분의 성질([0,1]에서의 값을 갖고, 총합은 K)
-note)Projection Matrix의 성질 모음
-idempotent
-hermitian
-positive-semidefinite(왜냐하면 data matrix^* * data matrix가 positive-definite이므로)
-rank=K
-trace=K
-note)annihilator matrix의 성질 모음
-idempotent
-hermitian
-positive-semidefinite(결국 다른 projection matrix로 간주될 수 있으므로)
-rank=n-K
-trace=n-K
-Section 1.4 Hypothesis Testing under Normality
-이 Section에서의 Hypothesis Testing의 의의
-Regression Model은 Economic Theory에 의해 motivated, 이 때 어떠한 경우에는 직접적으로 regression coefficient의 값에 restriction을 주기도 한다. 근데 실제로 estimate를 얻은 것이 이 restriction과는 다를 수 있는데(sampling에 의한 결과이므로), 이 때 restriction이 기각할 지 아니면 기각하지 않을 지(그렇다고 참인지는 모르는) 판단의 근거를 제공해준다.
-regression model에서의 경우, error term과 data matrix의 joint distrb가 필요하진 않고, conditional distrb of error on data matrix만 필요하게 된다는 것이 좋은 사실
-Test 배경
-Null hypothesis+본래 model assumption=maintained hypothesis라 한다. 이것을 먼저 설정
(maintained hypothesis가 참일 때, correctly specified model이라 한다.)
(correctly specified model일 때만, 가설검증함, 그렇지 않은 경우, Null hypothesis가 true더라도 기각하게 되는 결과를 낳을 수 있다. 하지만 실제로 correctly model인지를 알 수는 어렵다.)
-error term관련
-regressor가 capture하지 못하는 부분의 총체->normality가정하는데 motive
-혹은 measurement error->normality가정하는데 motive
-가정 Normality of the error term(1)
-conditioning on data matrix, error term vector에 관한 가정(jointly distrb)
-기존 가정 Strict Exogeneity, Spherical error variance덕에, conditional distrb of error term vector on data matrix를 구체적으로 알 수 있다. 게다가 그 때의 평균과 분산이 data matrix에 not dependent이므로 unconditional distrb까지도 알 수 있게 된다.
-OLS-Estimator for coefficint의 sampling error도 conditional normal on data matrix임을 앎(이때는 uncondition은 모름)
-Test statistic이 되기위한 조건들
-sample로부터 계산이 되어진다.
-conditional distrb on data matrix not depend on data matrix, 따라서 data matrix가 뭐든 unconditional distrb를 가져야(statistic의 값이 not depend on data matrix라는 소리가 아님, 주의)
-distrb가 known
-1개의 Coefficient에 Hypothesis Testing절차 in OLS-Estimator for coefficient(T-test, two-side test)
-가정 linearity(1), Strict Exogeneity(1), No Multicollinearity(1), Spherical Error Variance(1), Normality of the error term, Null hypothesis:true란 가정들이 필요
-먼저 가설검증할 대상 계수의 null hypothesis를 결정
-sampling error분포로부터 표준화시킨 표준정규분포를 얻음
-error variance를 모르므로 그것 또한 OLS Estimator for error variance로 교체(t-ratio 혹은 t-value 얻음)
(TD(n-k)를 따름)
-significance level를 결정
-critical values(2개, 근데 절댓값같고 부호만 다름)를 구함(in the t-distrb table)
-t-value와 critical value비교를 통해, 기각할건지(reject), 기각하지않을 건지(accept) 판단
(Null이 true인데 기각할 확률은 significance level이 된다. Null이 true인데 accept할 확률은 (1-significance level)
(critical value는 n-K에만 의존하지 data에는 의존안하므로, sample이 바뀐다면(size는 유지하면서) critical value는 1번만 구하면 된다.)
(위의 과정을, Null의 coefficient value가 some interval에 놓여있다고 믿어질 수 있는 구간을
level (1-significance level) confidence interval이라고도 한다. 특징은 OLS-Estimator for a coefficient(1개)의 standard error가 작을수록 같은 significance level에서 이 confidence interval의 길이가 짧아진다.)
(즉, 유의수준은 Null이 true인데 reject할 확률, 신뢰구간은 모수가 (1-유의수준)으로 들어갈 interval을 가리키고 standard error가 작을수록(같은 유의수준에서) 신뢰구간이 짧아진다.)
-혹은 t-value를 통해 p-value를 구하고, p-value와 significance level과 비교를 통해 기각할건지 기각하지 않을 건지 판단
(p-value는 0과 1사이 값을 갖고, 0에 가까울수록, 기각할 가능성이 높아짐)
note) critical value사용 vs p-value 사용
전자는 분포의 정의역값 관점이고, 후자는 분포의 확률 관점이다. 전자를 쓰든 후자를 쓰든 기각결정이 바뀌지 않음
-Linear Null Hypothesis인 경우(F-test)(one-side test)
-가정 linearity(1), Strict Exogeneity(1), No Multicollinearity(1), Spherical Error Variance(1), Normality of the error term, Null hypothesis:true란 가정들이 필요
-먼저 가설검증할 대상 계수들의 linear null hypothesis를 matrix로 표현(full row rank형태로)
-F-ratio값을 얻는다(FD(방정식개수, n-K)를 따른다.)(Wald principle)
(SSR under restriction과 그냥 SSR로써 F-ratio identity존재, 그것을 이용하는게 편리할 수도, Likelihood ratio principle, 이후 논의)
-significance level를 결정
-critical value를 구함(in the F-distrb table)
(혹은 F-ratio값을 통해 p-value를 구하고)
-critical value와 F-ratio값 비교를 통해 기각할지 말지 결정
(p-value와 significance level 비교를 통해 기각할지 말지 결정)
-T-test VS F-test
-F-test for linear null hypothesis에서 방정식이 1개일 땐, T-test와 같은 결과를 가짐
-방정식이 다수일 때 2가지 방법이 존재
-T-test를 방정식 개수만큼 이용하거나(단, 이때는 모든 결과가 기각하지 않는 걸로 나올 때, 전체 null hypothesis를 기각하지 않기로 약속)
-F-test 한번 이용하거나
-결과
-F-test를 선호한다. 그 이유는
-Null이 true일 때 기각할 확률이 significance level이란 말이 계속 적용가능
(T-test를 여러번 사용하는 경우 고정된 significance level에 대해서, Null이 true인데 reject할 확률이 test 방정식 개수가 늘어날수록 점점 더 증가한다.)
-F-test는 likelihood ratio test이므로 좋은 성질들을 가짐(이후 논의)
-Review questions
-1번:conditional distrb으로부터 unconditional distrb되는지 확인(whether depends on data matrix)
-2번:T-test할 때, standard error of a coefficient 또한 다음 4가지로 구해질 수 있다.(Section 1.2 review questions 9번 참고)
-sample average of data matrix^*(X) 곱 data matrix(X)
-sample average of data matrix^*(X) 곱 data matrix(y)
-sample average of y^2
-sample average of y
-3번:F-ratio유도할 때의 well-defined, matrix의 가역성 보장확인
-4번:one-tailed T-test설명(즉 null hypothesis는 같은데, alternative hypothesis가 one-side일 때)
-5번:restriction에서 방정식1개일 때, F-value=T-value임을 확인하는 예
-6번:방정식이 여러개일 때, T-test를 반복적으로 사용한다면, null이 true일 때 reject할 확률이 점점 커짐(significance level보다 커진다.)
-7번:OLS-estimator for error variance의 conditional variance on data matrix
-Section 1.5 Relation to Maximum Likelihood
-Maximum Likelihood는 Estimate하는 방법중 1가지를 가리킴
-자세한 것은 Chapter 7 Extremum Estiamtor에서 다루고, 여기서는 OLS Estimator for coefficients와 OLS Estimator for error variance를 ML Estimator로서 얻어진 Estimator와 비교
-ML Estimator를 얻기위해선 먼저 density의 form을 가정해야만 한다. 그리고 densities를 parametrizing해야함
-Classical Regression에서는 Conditional Likelihood Function의 parameter만을 다루면 된다. 왜냐하면 Regressors Data의 density를 specify할 수 없으므로(가정이 없으므로)
-가정 Linearity(1), Strict Exogeneity(1), Spherical Error Variance(1), Normality Error Term(1)에서
-종속변수|regressors는 Normal을 따르고 그것의 density에 log씌운 log likelihood function을 얻을 수 있다.
-parameter은 coefficients vector와 error variance가 된다.
-ML Estimator for coefficient
-가정 Linearity(1), Strict Exogeneity(1), No Multicollinearity(1), Spherical Error Variance(1), Normality Error Term(1)에서
-ML Estimator for coefficient=OLS Estimator for coefficient
-BUE(Best Unbiased Estimator)
(통계학에서 Cramer-Rao Bound이용)
-ML Estimator for error variance
-가정 Linearity(1), Strict Exogeneity(1), No Multicollinearity(1), Spherical Error Variance(1), Normality Error Term(1)에서
-ML Estimator for error variance=OLS Estimator for error variance * ((n-K)/n), 즉 분모가 n-K가 아니라 n이 됨
-biased
-Best(즉, conditional variance on data matrix가 최소임은 앎)
-Likelihood ratio test
-L_U/L_R, 즉 restriction없을 때의 likelihood function L_U와 restriction있을 때의 likelihood function L_R을 비교
-L_U/L_R이 too large하면 Null hypothesis를 기각함
-Classical Regression에 가정 linearity(1), Strict Exogeneity(1), No Multicollinearity(1), Spherical Error Variance(1), Normality of the error term, Null hypothesis:true란 가정하에 얻은 F-ratio를 monotone function에 취하면 L_U/L_R을 얻음, 따라서 기존의 F-test를 Likelihood ratio test로서 간주할 수 있다.
-Section 1.6 Generalized Least Squares
-가정 GLS
-error terms의 conditional second moment가 sigma^2 * V(data matrix)을 가리킴, 여기서 V(data matrix)는 행렬이고 data matrix에 의존하는 것을 가리킴. V(data matrix):known and invertible임도 가정함
-sigma^2*V(data matrix)로 decompose한 이유는 estimate for coefficient할 때 sigma^2항은 필요 없고 V(data matrix)만 필요하기 때문
-가정 Spherical Error variance(1)와는 다른 점은
-conditional homoskedasticity를 만족안할 때를 cover
-error term이 uncorrelated하지 않을 때를 cover하기 위함
-OLS Estimator의 성질
-biased는 유지된다. 애초에 가정 Spherical Error variance(1)이 필요하지 않았음
-not BLUE
-t-ratio, F-ratio가 각각 TD, FD를 따르지 않게 되므로 Hypothesis test를 적용할 수가 없다.
-GLS Estimator만들기
*Chapter 2 Large-Sample Theory
-Abstract
-Chapter 1에서의 다음 가정들이 성립하지 않을 때가 많다.
-strict exogeneity
-normality of the error term
-linearity
-Chapter 2에서는 위의 3가지 가정 중 linearity는 되는데 나머지 2개가 성립안할 때의 해결법을 다룬다.
(즉, linearity, spherical error variance, no multicollinearity는 성립할 때를 생각한다.)
-Large-Sample Theory란, sample size가 아주 클 때의 estimator와 관련된 statistics의 distribution을 approximation함
-Application에서는 Fisher Hypothesis에서의 Fama's classic paper를 다룸
-의의는 정부의 재정정책과 조세정책이 aggregate demand에 영향을 미치지 못한다는 결과를 낳는다.
-Section 2.1 Review of Limit Theorems for Sequences of Random Variables
-Section 2.2 Fundamental Concepts in Time-Series Analysis
-기본적인 확률, 통계 개념
-Asymptotically equivalent
-Avar
-CAN
-sqrt(n)-consistent
-{rdv_n}:iid일 때
-in L1이면
-sample mean:pt cv a.e. to 모평균, cv in L1 to 모평균
-in L2이면
-sample mean:cv in distrb to ND(모평균,모분산/n)
-sample variance:cv in M to 모분산
-delta-method
-ensemble mean
-stationary
-trend stationary
-difference stationary
-weak stationary
-white noise process, independent white noise
-ergodic
-Ergodic Theorem(Main Theorem)
-{rdv_n}:ergodic stationary, in L1이면 sample mean:pt cv a.e. to 모평균
-mg, mgd
-ARCH(1)
-CLT for Ergodic Stationary Mgd(Main Theorem)
-{rdv_n}:Ergodic Stationary Mgd, in L2이면 sample mean cv in distrbt to ND(0,(second moment of rdv)/n)
-Section 2.3 Large-Sample Distribution of the OLS Estimator
-가정 Linearity(2)
-가정 Ergodic Stationary(2)
-jointly ergodic and stationary를 가리킨다.
-ergodic은 independent와 관련있는 것이고 stationary는 identical distribution과 관련된 것
-error terms도 stationary임을 알 수 있음(따라서 error term의 unconditional homoskedastic은 알 수 있음)
-하지만 i-error terms의 i-conditional homoskedastic은 알 수가 없다.
-가정 Predetermined Regressors(2)
-regressors들이 contemporaneous error term에 대해서 orthogonal인 것을 가리킴
-가정 Strict Exogeneity(1)이 더 강하다.
-가정 Strict Exogeneity(1-2)이 더 강하다.
-가정 Predetermined Regressors(2-2)
-regressors들이 모든 error term에 대해서 orthogonal인 것을 가리킴
-가정 Predetermined Regressors(2)보다 강하다.
-가정 Strict Exogeneity(1)이 더 강하다.
-regressors중 constant가 있다면 {error_i}:mgd, 따라서 serially uncorrelated됨
-가정 Rank Condition(2)
-regressors의 second moments가 invertible임을 가리킨다.
-가정 Ergodic Stationary(2)와 함께 생각하면 가정 No Multicollinearity(1) for large n이 성립함을 알 수 있다.
-가정 Mgd with invertible second moments(2)
-vec{g_i}가 mgd이고 second moments가 invertible임을 가리킨다.
-sample mean of vec{g_i}의 Avar가 vec{g_i}의 second moment임을 알 수 있다. with 가정 Ergodic Stationary(2)
-가정 Predetermined Regressors(2)보다 강하다.
-가정 Sufficient Mgd(2)
-E[error_i | 이전error, 이전regressors, regressos_i]=0을 가리킴
-vec{g_i}가 mgd가 되는 충분조건
-error terms의 uncorrelation을 얻음
-가정 Consistent Estimator for second moments of vec{g_i}(2)
-second moments of vec{g_i}의 consistent estimator의 존재성을 가리킴
-가정 Error Term in L2(2)
-E[error_i^2]:finite을 가리킴
-Chapter 1에서는 가정 Spherical Error Variance에서 E[error_i^2]:finite을 가정함, 하지만 Chapter 2에서는 그런 가정이 없으므로 필요해짐
-가정 Consistent Estimator for Coefficients(2)
-regression의 coefficients의 consistent estimator의 존재성을 가리킴
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2)일 때 OLS estimator가 consistent이므로 가정 Consistent Estimator for Coefficients의 예가 될 수 있다.
-OLS Estimator for coefficient
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2)일 때
-consistent
-가정 Linearity(2), Ergodic Stationary(2), Rank Condition(2), Mgd with invertible second moments(2)일 때
-sqrt(n)*(Estimator - true coefficient vector):cv in distrb to ND
-가정 Linearity(2), Ergodic Stationary(2), Rank Condition(2), Mgd with invertible second moments(2), Consistent Estimator for second moments of ver{g_i}(2)일 때
-Avar(Estimator) 또한 consistently estimated
-OLS Estimator for error variance
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2), Error Term in L2(2)일 때
-Consistent
-Section 2.4 Hypothesis Testing
-Power of a test(Null hypothesis가 false일 때)(Test가 좋은지 안좋은지 평가방법)
-Large-Sample Theory에서는 Test가 limit distribution에 의존한다. 하지만 우리는 sample의 개수가 무한개일 수는 없다.
-sample size가 주어졌을 때 Null hypothesis가 false일 때 reject할 확률을 power of a test라 한다. 즉, power가 클수록 좋은 것
-a test is consistent against {DGP s.t. Null hypothesis:실제 false and 다른 가정:true}란
significance level이 주어지고
DGP is given in {DGP s.t. Null Hypothesis:실제 false}일 때
as sample size n->inf, power=1
-a consistent test with {DGP s.t. Null hypothesis:실제 false and 다른 가정:true}에서 만약 sample size n마다 DGP_n을 택하는 경우에 as n->inf, power of the test against {DGP_n}가 1이 아닌 경우에 {DGP_n}을 a sequence of local alternatives라 한다. 그리고 이 때 as n->inf, power of the test against {DGP_n}값을 asymptotic power라 한다.
-Pitmann sequence가 그 예
-1개의 Coefficient에 Hypothesis Testing절차 in OLS-Estimator for coefficient(robust t-ratio, two-side)
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2), Mgd with invertible second moments(2), Consistent Estimator for second moments of vec{g_i}(2), Null hypothesis:true란 가정 필요
-robust t-ratio:cv in distrb to ND(0,1)이용
(이 말은 robust t-ratio이용한 test는 consistent against {DGP s.t. Null hypothesis:false and 다른 가정 6개:true}란 말)
-robust t-ratio값 구한 다음에는 Chapter 1에서의 절차와 같음(significance level를 결정...)
-robust t-ratio는 consistent against {DGP s.t.
-note)Chapter 1 Finite-Sample Theory에서와 다른 점은
-Standard Error를 다르게 구한다.(robust t-ratio 경우 Heteroskedasticity consistent standard error라 한다.)
-TD(n-K)가 아니라, ND(0,1)을 이용한다.
-robust t-ratio가 정확히 ND(0,1)을 따르는게 아니라 cv in distrb to ND(0,1)이므로
-Null Hypothesis가 true인데 reject할 확률은 significance level와 같지 않고 근사적으로 같다. sample size가 커지면 significance level에 수렴함
-Linear Null Hypothesis인 경우(Wald Statistic, one-side)
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2), Mgd with invertible second moments(2), Consistent Estimator for second moments of vec{g_i}(2), Null hypothesis:true란 가정 필요
-Wald Statistic:cv in distrb to CSD(방정식 개수)이용
(이 말은 robust t-ratio이용한 test는 consistent against {DGP s.t. Null hypothesis:false and 다른 가정 6개:true}란 말)
-Wald Statistic값 구한 다음에는 Chapter 1에서의 절차와 같음(significance level를 결정...)
-note)Chapter 1 Finite-Sample Theory에서와 다른 점은
-FD(방정식개수,n-k)가 아니라 CSD(방정식개수)를 이용한다.
-Wald Statistic이 정확히 CSD(방정식개수)를 따르는게 아니라 cv in distrb to CSD(방정식개수)이므로
-Null Hypothesis가 true인데 reject할 확률은 significance level과 같지 않고 근사적으로 같다. sample size가 커지면 signifcance level에 수렴함
-Non-Linear Null Hypothesis인 경우(Wald Statistic, one-side)
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2), Mgd with invertible second moments(2), Consistent Estimator for second moments of vec{g_i}(2), Null hypothesis:true, Null hypothesis를 C^1 with full row rank로 표현할 수 있다는 가정 필요
-Wald Statistic:cv in distrb to CSD(C^1 function의 row rank)이용
(delta method 이용한 셈이다.)
-Wald Statistic값 구한 다음에는 Chapter 1에서의 절차와 같음(significance level를 결정....)
note)이론 상으로는 n->inf일 때 C^1 with full row rank가 구체적으로 무엇이냐는 상관없지만, 실제로 시행시 n:finite이므로
C^1 with full row rank를 어떻게 정하냐에 따라 Wald Statistic값이 달라지고 test의 reject여부 결과도 달라진다. 따라서 C^1 with full row rank가 어떤 것인지 확인 필요(같은 hypothesis 내용이라도 function을 어떻게 택하냐도 중요함)
-Section 2.5 Estimating Second Moments of vec{g_i} consistently
-가정 Finite Fourth Moments for Regressors(2)
-같은 sample에서의 임의의 2개(같아도 되는) regressors의 곱의 제곱의 기댓값이 finite임을 가리킴
-Consistent Estimator for Second Moments of vec{g_i}를 가정하지 않고 얻는 데에 필요함
-Consistent Estimator for Second Moments of vec{g_i}얻기
-가정 linearity(2), Ergodic Stationary(2), Finite Fourth Moments for Regressors(2), Consistent Estimator for Coefficients(2)일 때, 일단 Second Moments of vec{g_i}가 finite이기만 하면, consistent estimator for second moments of vec{g_i}를 얻을 수 있다.
-Test시 power가 1이 아니거나, Null hypothesis:true인데 reject할 확률이 significance level과는 다를 수 있다.
-이런 문제시 Consistent Estimator for Second Moments of vec{g_i}의 조작이 도움될 수 있다.
-Section 2.6 Implications of Conditional Homoskedasticity
-가정 Conditional Homoskedasticity(2)
-E[error_i|regressors_i]=sigma^2 for all i를 가리킴
-Second Moments of vec{g_i}의 형태를 얻음
-가정 Error term in L2(2)가 필요없어짐
-가정 Mgd with invertible second moments(2)과 함께 생각하면 가정 Rank Condition(2)이 필요없어짐
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2)와 함께 생각하면 OLS Estimator for error variance가 consistent해짐을 이용해서 Consistent Estimator for second moments of vec{g_i}를 얻으므로
-가정 Consistent Estimator for second moments of vec{g_i}(2)가 필요없어짐
-가정 Finite Fourth Moments for Regressors(2)가 필요없어짐
-OLS Estimator for Coefficients를 다시 정리
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2)일 때
-consistent
-가정 Linearity(2), Ergodic Stationary(2), Rank Condition(2), Mgd with invertible second moments(2)일 때
-sqrt(n)*(Estimator - true coefficient vector):cv in distrb to ND
-가정 Linearity(2), Ergodic Stationary(2), Rank Condition(2), Mgd with invertible second moments(2), Consistent Estimator for second moments of ver{g_i}(2)일 때
-Avar(Estimator) 또한 consistently estimated
-가정 Linearity(2), Ergodic Stationary(2), Mgd with invertible second moments(2), Conditional Homoskedasticity(2)일 때
-consistent
-sqrt(n)*(Estimator - true coefficient vector):cv in distrb to ND
-Avar(Estimator) 또한 consistently estimated using OLS Estimator for error variance
-OLS Estimator for error variance를 다시 정리
-가정 Linearity(2), Ergodic Stationary(2), Predetermined Regressors(2), Rank Condition(2), Error Term in L2(2)일 때
-Consistent
-가정 Linearity(2), Ergodic Stationary(2), Mgd with invertible second moments(2), Conditional Homoskedasticity(2)일 때
-Section 2.9 Least Squares Projection
-가정 Ergodic and stationary, rank condition만 만족할 때 OLS-estimator for coefficient는 무엇을 estimate하는가?
-regression을 떠나 다음을 생각,
y:rdv
x:RDV
(y,x):joint distrb를 앎
이 때, x의 값을 통해서 y를 predict하자.
-이 때 Mean Square Error가 최소가 되게하는 x의 function for prediction은 E[y|x]가 된다.
-다음 상황을 생각
y:rdv
x:RDV
(y,x):joint distrb를 앎(사실 결과를 보고나서 생각해보면, joint distrb를 다 알 필요가 없고 moments만 몇개 알면 됨)
이 때, x의 값을 통해서 y를 predict하되, x의 linear form중에서 Mean Square Error가 최소가 되게하는 x의 function은?
-정답은 orthogonality를 통해 유도할 수 있고, 그것을 least squares projection of y on x라 한다. 그리고 coefficients를 least squares projection coefficients라 한다.
-이전의 상황과 다르게, 이 경우는, x의 second moment와 x*y의 moment만 알면 된다.
-x중에 constant가 포함된 경우를, regression에서 주로 쓰게 된다.
-regression에서의 적용
-y:종속변수, x:독립변수(regressor vector), 가정 ergodic and stationary, rank condition을 만족할 때 OLS-estimator for coefficient는 least squares projection coefficients를 estimate하고, consistently하게 된다.
*Chapter 3 Single-Equation GMM
-Abstract
-가정 Predetermined Regressors이 성립하지 않을 때는 GMM을 이용하면 된다.
(이 경우 OLS estimator for coefficient가 consistent하지 않게 된다.)
-linear이고 single-equation만 다룬다. Multiple-equation은 Chapter 4, nonlinear GMM은 Chapter 7
-GMM의 major 대안책인 ML은 Chapter 8에서 다룬다.
-Section 3.1 Endogeneity Bias:Working's Example
-Working's Example 1에서 endogenous regressor by simultaneous equations를 다룸
-Working's Example 2에서 IV가 있으면 endogenous regressor의 coefficient에 대한 consistent estimator를 얻는 방법 소개
-IV estimator
-2SLS Estimator
(둘 다 자세한 것은 GMM 배우고 나서 다시 생각하면 좋다.)
-Section 3.2 More Examples
-Haavelmo's Consumption, GNP, Income Example에서 endogenous regressor by simultaneous equations를 다룸
-M.Friedman's Consumption and Income Example에서 endogenous regressor by measurement error를 다룸
-Production Function Q=A*L*exp(error) Example에서 endogenous regressor by regressor와 관계있는데 error term에 포함된 factor를 다룸
-즉 endogenous 발생요인은 대체로 3가지, simultaneity, measurement error, correlated factor in error
-Section 3.3 The General Formulation
-GMM은 기본적으로 orthogonality condition을 이용하는 것이다.
-몇가지 기본 용어들
-
-Section 3.4 Generalized Method of Moments Defined
-Section 3.5 Large-Sample Properties of GMM
-Section 3.6 Testing Overidentifying Restrictions
-Section 3.7 Hypothesis Testing by the Likelihood-Ratio Principle
-Section 3.8 Implications of Conditional Homoskedasticity
*Chapter 6 Serial Correlation
-Abstract
-error term의 serial correlation이 없을 때만을 Chapter 3 GMM에서 다뤘는데, serial correlation이 있을 때도 다뤄보자.
-그러기 위해선 CLT를 좀 더 일반화시켜야 한다. 그리고 그것은 serial correlation의 정도에 제한이 있으면 된다.
-그게 가능한 process가 linear process가 대표적이다.
-Section 6.1 Modeling Serial Correlation:Linear Processes
-Section 6.2 ARMA Processes
-Section 6.3 Vector Processes(6.1, 6.2, 6.3같이 정리)
-기본적인 process와 techniques(기억이 안나면 "수학정리"참고)
-white noise process, independent white noise process, vector white noise process
-MA(q)
-MA(inf), VMA(inf)
-filter(multivariate)
-p-th degree lag polynomial
-abs summable filter
-filter of convolution
-commutativity(multivariate에선 성립안함)
-inverse
-stability condition(multivariate filter의 경우, det로 stability condition가짐)
-AR(p), M-VAR(p)
-random walk with dirft c
-MA(inf) Representation
-ARMA(p,q), VARMA(p,q)
-with common root
-invertible
-Autocovariance-Generating Function of covariance-stationary process
-Review questions
-6.1-1번:cauchy seq<->cv seq in series version
-6.1-2번:covariance-stationary process에 abs summable filter를 씌워서 얻은 새로운 covariance-stationary process의 autocovariance가 어떻게 얻어지는지 이해
-6.1-3번:filter operation의 성질(쉬움)
-6.1-4번, 5번, 6번:단순계산, 확인 문제
-6.2-1번:
-AR(1) with stability condition에서 least square projection of y_t on {1,y_(t-1)}의 형태
-least square projection이 E[y_t|y_(t-1)]과는 다름을 알 수 있다.(주의:E[error_t|y_(t-1)]이 non zero일 수 있음)
-least square projection of y_t on {1,y_(t-1),y_(t-2)} 또한 least square projection of y_t on {1,y_(t-1)}와 같다.
-AR(1) without stability condition에서는 위의 성질들 다 성립 안함
-6.2-2번:AR(1) with coefficient=1은 covariance-stationary solution이 존재하지 않음을 보임
-6.2-3번:AR(p) with stability condition에서 mean구하는 법 증명
-6.2-4번:ARMA(p,q) with stability condition의 solution 형태와 solution임을 확인하기
-6.2-5번:AR(p) with stability condition->MA(inf), ARMA(p,q) with stability condition->MA(inf)표현 연습
-6.2-6번:Autocovariance-Generating Function of covariance-stationary process의 property확인
(covariance-stationary->covariance-stationary using abs summable filter했을 때 autocovariance-generating function의 변화 확인)
-6.2-7번:Autocovariance-Generating Function of covariance-stationary process의 spectrum이 real임을 보이기
-Section 6.4 Estimating Autoregressions
-Estimating of AR(p) with independent WN, stability condition
-regression form으로 만든다면 다음 가정 6개를 만족한다.
-linearity in Chapter 2
-Joint Stationary and Ergodic in Chapter 2
-Conditionally homoskedasticity in Chapter 2
-Mgd with finite second moment in Chapter 2
-Predetermined Regressors in Chapter 2
-Rank condition in Chapter 2
-따라서 다음 결과를 얻을 수 있다. (Using Chapter2 내용)
-OLS-estimator for coefficient는 CAN
-OLS-estimator for coefficient의 Avar의 consistent estimator찾을 수 있다.
-error variance의 consistent OLS-Estimator를 찾을 수 있다.
-Choice of Lag Length
-"Estimating of AR(p) with..."를 할 때 p를 알아야 한다.
-일단 p에 대해서 된다면
-r<p에 대해서도 stability condition 만족하고 phi_r:nonzero이면, 같은 논의를 똑같이 적용가능
-일단 true order가 p라하고, 현재 아는게 p는 몰라도 p_max는 안다.
-Two classes of rules for determining the lag length
-General-to-specific sequential t rule
-일단 p_max로 먼저해보고 prespecified significance level에서 significant하면 p_max로 choice
(Estimating of AR(p)는 결국 chapter2의 내용이므로 regression의 계수 가설검증과도 같다. T-test사용)
-not significant하면 p_max - 1로해본다.
-significant할 때까지하고 해지면 그걸로 choice
(구체적으로 만약 true=3, max=5라면,
-max에서의 t-test with null:phi_5=0(null이 실제론 참인 상황)
-null이 참인데 기각할 확률은 10%, 즉 5로 choice할 확률이 10%
-null이 참인데 기각하지 않을 확률은 90%
-max-1(4)에서의 t-test with null:phi_4=0(null이 실제론 참인 상황)
-null이 참인데 기각할 확률은 10%, 즉 4로 choice할 확률은 90%*10%
-null이 참인데 기각하지 않을 확률은 90%
-true(3)에서의 t-test with null:phi_3=0(null이 실제론 거짓인 상황)
-t-value는 무조건 크게 나옴, 따라서 반드시 기각함, 즉 3으로 choice할 확률은 90%*90%
-결론, P[choice:5]=0.1, P[choice:4]=0.09, P[choice:3]=0.81
-특징:
-lim n->inf P[choice된 것<true]=0 and lim n->inf P[choice된 것>true]>0
(즉 true order보다 작게 choice할 일은 없고, 크게 choice할 가능성은 적게 있다.)
-test할 sample의 period를 택하는 방법에는
-y_(p_max+1),...,y_n을 이용하거나(test 횟수가 늘어나도 고정)
-y_(j+1),...,y_n을 이용(j는 test 횟수마다 작아지게)
*Chapter 7 Extremum Estimator
-Abstract
-Extremum Estimator는 GMM, ML, least square 등의 Estimator를 일반화한 개념
-asymptotic theory with calculus가 다수 사용됨
-Section 7.1 Extremum Estimators
-terminology
-parameter space
-objective function
-extremum estimator
-parametric model
-correctly specified model
-likelihood function
-log likelihood function
-Extremum Estimator의 존재성을 보장하는 조건3가지
-parameter space가 compact
-objective function이 conti in parameter
-objective function이 MF in data
(parameter space가 compact인 가정을 피하고 싶은 가정)
-Class of Extremum Estimator
-기준:objective function의 형태
-M-estimator
-sample average형태의 objective function
-ML이나 NLS 등이 포함됨
-ML
-model:data가 iid이고 data의 density 또한 가정 indexed by finite dimensional parameter vector
-방법:log likelihood function의 sample mean을 objective function으로 선택
-remark
-data가 serially correlated라면, log likelihood의 sample mean이 simpel하지 않음(chapter 8에서 다룸)
-같은 model에서도 꼭 ML을 써야하는 것은 아니고 GMM으로도 할 수 있음
-CML(Conditional Maximum Likelihood)
-model:
-data가 한부분은 종속변수(y_t, vector일수도) 한부분은 regressors(x_t, column vector)
-data의 density의 indexing parameter vector도 x_t부분과 conditional y_t on x_t부분 2개로 나뉘어짐
-연구자의 관심:x_t가 conditional distrb of y_t on x_t에 얼만큼 영향을 미치는 지에 관심
-x_t의 density의 parameter vector가 conditional distrb of y_t on x_t의 parameter와는 아무 functional relation이 없음->따라서 data의 density가 2개의 densities(x_t의 density * conditional distrb of y_t on x_t)
-방법:conditional distrb of y_t on x_t의 log likelihood function의 sample mean을 obejective function으로 선택
(즉 x_t의 parameter vector는 관심없고(왜냐하면 x_t를 알 때에 y_t가 관심이므로), conditional y_t on x_t의 parameter vector만 관심)
-remark
-만약 x_t의 parameter vector와 conditional y_t on x_t의 parameter vector가 functionally relation을 갖는다면, CML과 ML의 결과가 다르고, functionally relation이 없다면, CML=ML(y_t의 parameter vector의 estimator의 값이 같다는 것)
-functionally relation을 갖는다면, ML의 결과가 더 efficient
-일반적으로, x_t의 density의 parametric form에 관한 정보가 없으므로, 사실상 CML을 쓸 때의 이러한 efficiency loss가 거의 항상 있다.
-GMM
-(-1) * distance 형태의 objective function
(따라서 objective function을 maximize<->distance를 minimize)
(M-estimator나 GMM에 포함되지 않는 extremum estimator도 존재, 특히 classical minimum distance estimators)
*Examples
1. Consumption function, Consumption과 disposable income사이의 관계
-consumption은 i년도 총 소비량 혹은 개인 i의 기간내 총 소비량
-disposable income은 i년도 혹은 개인 i의 기간내 disposable income
-error term은 measure할 수 있지만 관심이 없는 요소거나(Financial assets같은), hard to measure인 경우이면서 consumption에 영향을 주는 요소들
2. Wage Equation 1
-wage는 개인 i의 wage rate,
-S는 education in years, 개인 i의 총 교육년수
-Tenure는 years on the current job, 개인 i의 현재직장 경력
-Expr는 experience in the labor force, 개인 i의 총 노동경력
-F-test예로는 S와 tenure의 계수는 같고, Expr의 계수는 0이라고 hypothesis할만 함.
~. Working's Example 1
-q_i^(d)는 i기간동안 coffee의 수요량
-q_i^(s)는 i기간동안 coffee의 공급량
-p_i는 i기간동안 coffee의 가격
-u_i는 demand function의 error term
-v_i는 supply function의 error term
-market equilibrium존재
-Endogenous regressor의 발생요인이 simultaneous equations때문인 예
~. Working's Example 2
-q_i^(d)는 i기간동안 coffee의 수요량
-q_i^(s)는 i기간동안 coffee의 공급량
-p_i는 i기간동안 coffee의 가격
-u_i는 demand function의 error term
-x_i는 observable supply shifter
-eta_i는 supply function의 새로운 error term
-Endogenous Regressor가 있더라도 IV가 존재해서 IV Estimator for coefficient만드는 예
-Endogenous REgressor가 있더라도 IV가 존재해서 2SLS Estimator for coefficient만드는 예
~. Haavelmo's Consumption, GNP, Income Example
-C_i:aggregate consumption in year i
-Y_i:GNP in year i
-I_i:Income in year i
-u_i:error term in consumption function
-Endogenous regressor by simultaneous equations가 바로 이해되는 예
~. M.Friedman's Consumption and Income
-C^*_i:permanent consumption in year i
-Y^*_i:permanent income in year i
-measurement error때문에 endogenous가 발생하는 예
~. Production Function Q=A*L*exp(error)
-Q_i:ith firm's output
-L_i:ith firm's labor input
-A_i:ith firm's efficiency level
-v_i:ith firm's technology shock
-regressor와 correlated한데 unobservable(for econometrician)이어서 error term에 들어간 factor때문에 endogenous 발생하는 예
~. Wage Equations 2
-LW_i는 개인 i 의 log wage
-S_i는 education in years, 개인 i의 총 교육년수
-Expr_i는 experience in the labor force, 개인 i의 총 노동경력
-IQ_i는 개인 i의 IQ
-AGE_i는 개인 i의 나이
-MED_i는 개인 i의 엄마의 교육년수
~. Estimating the mean of a normal distribution
-model:data가 scalar iid이고 각 data의 density~ND(mu, sigma^2)
-ML의 경우 sample mean이 ML estimator for mu
-GMM의 경우도 sample mean이 GMM estimator for mu
~+1. Linear regression model with normal errors
-model:data={y_t,x_t}:iid, linearity, error는 conditional normal on x_t
-위의 model 가정에 의해 conditional y_t on x_t의 parameter vector={regression의 coefficients vector, error의 variance}
-CML estimator for regression의 coefficients는 OLS-estiamtor가 된다.
-CML estimator for error의 variance는 SSR/n이 된다.(SSR/(n-K)가 아님)
1. Notation
-indexing은 i,j는 observation, k는 IV, l은 regressors,(multiple GMM까진 해야 더 정교하게할듯)
2. Assumptions(넘버링 필요)
-Basic
-Data관련
-
-E관련
-conditional E관련
-Error관련
-
-E관련
-conditional E관련
-Data랑 Error함께 관련
-
-E관련
-conditional E관련
3. Assumptions의 포함관계
4. 관련 수학적 Thm을 쉽게 언급하고 Notation만들기(그래야 이후 설명시 쉽게 적어보인다. ESMC:Ergodic stationary mgd CLT 등)
-적되, 수학정리에도 같이 적어야할 것이다.
-수학정리에는 증명도 실어야할 것이다.
5. Chapter별 결론(각 결론 뒤에는 사용된 방법론, 쓰인 가정을 적는다. 이후 다른 가정일 때도 성립하면 그것도 적는다.)
-Chapter1(쓰이는, 언급된 가정들을 Chapter1(~~~), ~~에 적기)
-Coefficient Estimator
-OLS Estimator
-쓰인 가정:
-추가된 가정에선~~
-Error Variance Estimator
-Hypothesis Testing
-부가 Testing
-기타
'기타 > 경제,계량경제,금융' 카테고리의 다른 글
| [Econometrics]Estimators (0) | 2014.02.25 |
|---|---|
| [Econometrics]Notation (0) | 2014.02.25 |
| [CFA][L1]Economics,Chapter 5. Aggregate Output, Prices, and Economic Growth (0) | 2014.02.01 |
| [CFA][L1]Economics,Chapter 4. The Firm and Market Structures (0) | 2014.01.27 |
| [CFA][L1]Economics,Chapter 3. Demand and Supply Analysis:The Firm (0) | 2014.01.25 |