Exercise 3.12 Solution Example - Hoff, A First Course in Bayesian Statistical Methods
標準ベイズ統計学 演習問題 3.11 解答例

\begin{align*} \log p(Y \mid \theta) &= \log \left[ \begin{pmatrix} n \\ Y \end{pmatrix} \theta^Y (1-\theta)^{n-Y} \right]\\ &= Y \log \theta + (n-Y) \log (1-\theta) + \log \begin{pmatrix} n \\ Y \end{pmatrix} \\ \end{align*}

より、

\begin{align*} \frac{\partial^2 \log p(Y \mid \theta)}{\partial \theta^2} &= \frac{\partial}{\partial \theta} \left( \frac{Y}{\theta} - \frac{n-Y}{1-\theta} \right)\\ &= - \frac{n-Y}{(1-\theta)^2} - \frac{Y}{\theta^2} \\ \end{align*}

よって、

\begin{align*} I(\theta) &= - E \left[ \frac{\partial^2 \log p(Y \mid \theta)}{\partial \theta^2} \middle| \theta \right] \\ &= - E \left[ - \frac{n-Y}{(1-\theta)^2} - \frac{Y}{\theta^2} \middle| \theta \right] \\ &= \frac{n-E[Y \mid \theta]}{(1-\theta)^2} + \frac{E[Y \mid \theta]}{\theta^2} \\ &= \frac{n - n \theta}{(1-\theta)^2} + \frac{n \theta}{\theta^2} \\ &= \frac{n}{1-\theta} + \frac{n}{\theta} \\ &= \frac{n}{\theta (1-\theta)} \end{align*}

が得られる。また、

\begin{align*} p_J(\theta) &\propto \sqrt{\frac{n}{\theta (1-\theta)}} \\ &= \sqrt{n} \theta^{-\frac{1}{2}} (1-\theta)^{-\frac{1}{2}} \\ &\propto \theta^{ \frac{1}{2} - 1} (1-\theta)^{\frac{1}{2} - 1} \\ &\propto \text{dbeta}(\theta, \frac{1}{2}, \frac{1}{2}) \end{align*}

より、Jeffreys’ prior distribution は、 Beta\((\frac{1}{2}, \frac{1}{2})\)となる。

これは 3.10 a) と同じ変換であることに注意。

\begin{align*} \log p(Y \mid \psi) &= \log \left[ \begin{pmatrix} n \\ Y \end{pmatrix} e^{\psi Y} (1+e^{\psi})^{-n} \right]\\ &= Y \psi + \log \begin{pmatrix} n \\ Y \end{pmatrix} - n \log (1+e^{\psi}) \\ \end{align*}

より、

\begin{align*} \frac{\partial^2 \log p(Y \mid \psi)}{\partial \psi^2} &= \frac{\partial}{\partial \psi} \left( Y - \frac{n e^{\psi} }{1+e^{\psi} } \right)\\ &= - \frac{n e^{\psi} (1 + e^{\psi}) - e^{\psi} n e^{\psi} }{(1+e^{\psi})^2} \\ &= - \frac{n e^{\psi} }{(1+e^{\psi})^2} \\ \end{align*}

よって、

\begin{align*} I(\psi) &= - E \left[ \frac{\partial^2 \log p(Y \mid \psi)}{\partial \psi^2} \middle| \psi \right] \\ &= - E \left[ - \frac{n e^{\psi} }{(1+e^{\psi})^2} \middle| \psi \right] \\ &= \frac{n e^{\psi} }{(1+e^{\psi})^2} \\ \end{align*}

したがって、prior distribution は、

\begin{align*} p_J(\psi) = c \times \frac{\sqrt{e^{\psi} } }{1 + e^{\psi} } \qquad \text{where } c = \frac{1}{\int_{-\infty}^{\infty} \sqrt{ e^{\psi} } (1 + e^{\psi} )^{-1} d\psi} \\ \end{align*}

\begin{align*} p_{J, \psi}(\psi) &= p_{J, \theta}(h(\psi)) \times \left| \frac{\partial h(\psi)}{\partial \psi} \right| \\ &\propto h(\psi)^{-\frac{1}{2}} (1-h(\psi))^{-\frac{1}{2}} \times \frac{e^{\psi}}{(1+e^{\psi})^2} \\ &= \left( \frac{e^{\psi} }{1 + e^{\psi} } \right)^{- \frac{1}{2} } \left(1-\frac{e^{\psi} }{1 + e^{\psi} }\right)^{-\frac{1}{2} } \times \frac{e^{\psi}}{(1+e^{\psi})^2} \\ &= \left( \frac{e^{\psi} }{(1 + e^{\psi})^2 } \right)^{- \frac{1}{2} } \frac{e^{\psi}}{(1+e^{\psi})^2} \\ &= \left( \frac{e^{\psi} }{(1 + e^{\psi})^2 } \right)^{ \frac{1}{2} } \\ &= \frac{\sqrt{e^{\psi} } }{1 + e^{\psi} } \\ \end{align*}

よって、 b) と一致することがわかる。