talldoor - Autoregressive Process & Weakly Stationarity

Tags: econometrics

2022 计量2 课程内容后面发现问题出在没有学过随机过程

我首先评论一下时间序列，AR Process 是与我之前学过的东西关系最紧密的内容（在计量2中），它是Inhomogeneous Linear Difference Equation 常数项换成了一个白噪声，而这个非齐次线性差分方程在计算递归算法复杂度的时候也经常遇到；而且他基本上就是微分方程的离散形式。

首先关于线性差分方程，一般的解法是直接猜测形式是 $u_{n} = A w^{n}$ ，也可以证明线性差分方程的解的形式一定是 $u_{n} = A_{1} w_{1}^{n} + A_{2} w_{2}^{n} + \dots$ 这种形式。特征方程的所有解(假设无重根)的n次方都是一个特解，根据给定的k个初值可以确定一个特解，而且对于任意一个初始解，带入特征方程得到的k个解中正好形成一个k行的线性方程组，左侧系数是一个Vandermonde行列式，一定有解。

线性齐次ODE解的形式为什么一定是指数函数的线性组合

特征方程有重根的线性齐次递推式的通项形式“证明”

充分和必要条件 > 充分条件的证明:(宋翔羽写的) 考虑 $∣ α ∣ > 1$ 的多项式，证明前后两项的模长不相同 → 前后两项不相等 → $∣ α ∣ > 1$ 没有根 > 必要条件:(卿鸿杰写的) 构造多项式 $Π (1 - x_{i})$ , 韦达定理可以凑出结果

1 Weakly Stationarity

Definition1weakly stationary process

The process ${X_{t}, t \in T}$ is said to be weakly stationary (or covariance stationary or second-order stationary) if $E (X_{t}^{2}) < \infty$ and both $E X_{t}$ and $C o v (X_{t}, X_{t + h})$ , for any integer $h$ , do not depend on $t$ .

2 Differencial & Difference?

links-between-difference-and-differential-equations

3 AR(p) Weakly Stationarity

$y_{t} = ϕ_{0} + ϕ_{1} y_{t - 1} + (1 - ϕ_{1} L - ϕ_{2} L^{2} - \dots - ϕ_{p} L^{p}) y_{t} \dots + ϕ_{p} y_{t - p} + ϵ_{t} = ϕ_{0} + ϵ_{t}$

$[(1 - L / x_{1}) (1 - L / x_{2}) \dots (1 - L / x_{p})] y_{t} = ϕ_{0} + ϵ_{t}$

$[1 - (ϕ_{1} + ϕ_{2} L + \dots + ϕ_{p} L^{p - 1}) L] y_{t} = ϕ_{0} + ϵ_{t}$

where $L$ is the lag-operator.

对于1，如果 $(1 - L x_{1}), (1 - L x_{2}) \dots$ 都可逆(也就是都能写成 $(1 + x_{1} L + x_{1}^{2} L^{2} + \dots) (1 + x_{2} L + x_{2}^{2} L^{2} + \dots) \dots (1 + x_{p} L + x_{p}^{2} L^{2} + \dots) ϵ_{t}$ )，就能轻松将一个AR(p)转化成一个MA(inf)；对于2，如果 $1 - (ϕ_{1} - ϕ_{2} L - \dots) L$ 可逆也可以转化成MA(inf)

对于MA(inf)，期望 $E (y_{t}) = μ$ ,方差 $Va r (y_{t}) = σ^{2} \sum_{j = 0}^{i n f} θ_{j}^{2}$ , 需要让方差收敛.

对于1, 考虑 $ϵ_{t - i}$ 前面的系数, $ϵ_{t - i}$ 需要在前面的p个括号中每个括号选择一项，我们尝试写出几项：

$i = 1 i = 2 i = 3 \dots \sum x_{i} \sum x_{i}^{2} + i < j \sum x_{i} x_{j} \sum x_{i}^{3} + i < j \sum x_{i}^{2} x_{j} + i < j \sum x_{i} x_{j}^{2} + i < j < k \sum x_{i} x_{j} x_{k}$

Time Series Analysis James D. Hamilton page35，用另外一种方法推出上面的系数

Time Series Analysis James D. Hamilton page35 [2.4.13] 这种系数的写法可以较为容易的证明出系数是绝对收敛的，而用上面列出的形式较为困难（我不会）

这里 c 的计算本身也非常有趣，见书35页左右

再考虑2，首先记得充分和必要条件当中的必要条件是系数和小于1，而2的这个形式 $1 - (ϕ_{1} - ϕ_{2} L - \dots - ϕ_{p} L^{p - 1}) L$ 如果想要可逆，自然有 $\sum_{i = 1}^{p} ϕ_{i} < 1$

那么可以写成：

$y_{t} = ϕ_{0} / (1 - ϕ_{1} - \dots - ϕ_{p}) + [1 + (ϕ_{1} L + \dots + ϕ_{p} L^{p}) + (ϕ_{1} L + \dots + ϕ_{p} L^{p})^{2} + \dots] ϵ_{t}$

然后尝试写出 $ϵ_{t - i}$ 的系数

$i = 0 i = 1 i = 2 \dots 1 ϕ_{1} ϕ_{1}^{2} + ϕ_{2}$

和1的系数比较， $i = 1$ 时 $\sum x_{i} = ϕ_{1}$ (韦达定理， $x_{i}$ 是特征方程根的倒数)； $i = 2$ 时， $\sum x_{i}^{2} + \sum_{i < j} x_{i} x_{j} = ϕ_{1}^{2} + ϕ_{2}$ (这里 $\sum x_{i}^{2} = ϕ_{1}^{2} + 2 ϕ_{2}, \sum_{i < j} x_{i} x_{j} = - ϕ_{2}$ )

可以发现这两种方法实际上是等价的

4 Questions？

能否构造出一个随机变量的期望与时间有关而任意两个随机变量的协方差与时间无关（或者反之）的时间序列