Exercise 7.1 Solution Example - Hoff, A First Course in Bayesian Statistical Methods
標準ベイズ統計学 演習問題 7.1 解答例

\(p_J\)が確率密度関数であるためには、 \(\int \int p_J(\boldsymbol{\theta}, \Sigma) d\boldsymbol{\theta} d\Sigma = 1\) である必要があるが、 \(\int p_J(\boldsymbol{\theta}, \Sigma) d\boldsymbol{\theta} = \infty\) であるため、\(p_J\)は確率密度関数ではない。

\begin{align*} p_J(\boldsymbol{\theta}, \Sigma | \boldsymbol{y}_1, \ldots, \boldsymbol{y}_n) &\propto p_J(\boldsymbol{\theta}, \Sigma) \times p(\boldsymbol{y}_1, \ldots, \boldsymbol{y}_n | \boldsymbol{\theta}, \Sigma) \\ &\propto |\Sigma|^{-(p+2)/2} \times |\Sigma|^{-n/2} \exp \left\{ -\frac{1}{2} \sum_{i=1}^n (\boldsymbol{y}_i - \boldsymbol{\theta})^T \Sigma^{-1} (\boldsymbol{y}_i - \boldsymbol{\theta}) \right\} \\ &= |\Sigma|^{-(p+n+2)/2} \exp \left\{ -\frac{1}{2} \sum_{i=1}^n (\boldsymbol{y}_i - \boldsymbol{\theta})^T \Sigma^{-1} (\boldsymbol{y}_i - \boldsymbol{\theta}) \right\} \\ \\ p_J(\boldsymbol{\theta} | \Sigma, \boldsymbol{y}_1, \ldots, \boldsymbol{y}_n) &\propto p_J(\boldsymbol{\theta}, \Sigma | \boldsymbol{y}_1, \ldots, \boldsymbol{y}_n) \\ &\propto \exp\left\{ - \frac{1}{2} \sum_{i=1}^n (\boldsymbol{y}_i^T - \boldsymbol{\theta}^T) \Sigma^{-1} (\boldsymbol{y}_i - \boldsymbol{\theta}) \right\} \\ &= \exp\left\{ - \frac{1}{2} \sum_{i=1}^n (\boldsymbol{y}_i^T \Sigma^{-1} - \boldsymbol{\theta}^T \Sigma^{-1}) (\boldsymbol{y}_i - \boldsymbol{\theta}) \right\} \\ &= \exp\left\{ - \frac{1}{2} \sum_{i=1}^n \left( \boldsymbol{y}_i^T \Sigma^{-1} \boldsymbol{y}_i - \boldsymbol{y}_i^T \Sigma^{-1} \boldsymbol{\theta} - \boldsymbol{\theta}^T \Sigma^{-1} \boldsymbol{y}_i + \boldsymbol{\theta}^T \Sigma^{-1} \boldsymbol{\theta} \right) \right\} \\ &= \exp\left\{ - \frac{1}{2} \sum_{i=1}^n \left( \boldsymbol{y}_i^T \Sigma^{-1} \boldsymbol{y}_i - 2 \boldsymbol{\theta}^T \Sigma^{-1} \boldsymbol{y}_i + \boldsymbol{\theta}^T \Sigma^{-1} \boldsymbol{\theta} \right) \right\} \\ &\propto \exp\left\{ - \frac{1}{2} \boldsymbol{\theta}^T \boldsymbol{A}_1 \boldsymbol{\theta} + \boldsymbol{\theta}^T \boldsymbol{b}_1 \right\}, \quad \text{where} \quad \boldsymbol{A}_1 = n \Sigma^{-1}, \ \boldsymbol{b}_1 = n \Sigma^{-1} \bar{\boldsymbol{y} } \\ &\propto \text{dmultivariate normal}( \bar{\boldsymbol{y} }, \Sigma/n) \\ \\ p_J(\Sigma | \boldsymbol{\theta}, \boldsymbol{y}_1, \ldots, \boldsymbol{y}_n) &\propto p_J(\boldsymbol{\theta}, \Sigma | \boldsymbol{y}_1, \ldots, \boldsymbol{y}_n) \\ &\propto |\Sigma|^{-(p+n+2)/2} \exp \left\{ -\frac{1}{2} \sum_{i=1}^n (\boldsymbol{y}_i - \boldsymbol{\theta})^T \Sigma^{-1} (\boldsymbol{y}_i - \boldsymbol{\theta}) \right\} \\ &\propto |\Sigma|^{-(n+1 + p + 1)/2} \exp \left\{ -\frac{1}{2} \text{tr}(S_{\theta} \Sigma^{-1}) \right\} \quad \text{where} \quad S_{\theta} = \sum_{i=1}^n (\boldsymbol{y}_i - \boldsymbol{\theta}) (\boldsymbol{y}_i - \boldsymbol{\theta})^T \\ &\propto \text{dinverse Wishart}(n+1, S_{\theta}^{-1}) \end{align*}