added most

probability theory/4sem/10.tex

@@ -2,6 +2,7 @@ \chapter{17 апреля}
 
 \subsection{Сходимость случайных величин}
 
+%<*32>
 \subsubsection{Сходимость почти наверное}
 
 \begin{definition}
@@ -91,6 +92,7 @@ \subsubsection{Связь между видами сходимости}
                                      & = 1
     \end{align}
 \end{proof}
+%</32>
 
 \begin{remark}
     В общем случае бессмысленно утверждение \(\xi_n \rightrightarrows \xi \Rightarrow \xi_n \xrightarrow{P} \xi\), т.к. слабая сходимость это сходимость распределений, а не случайных величин и одинаковые величины могут иметь разные распределения.
@@ -102,6 +104,7 @@ \subsubsection{Связь между видами сходимости}
 
 \subsection{Математическое ожидание преобразованной случайной величины}
 
+%<*33>
 \begin{theorem}
     Для произвольной борелевской функции \(g(x)\):
     \begin{enumerate}
@@ -133,17 +136,19 @@ \subsection{Свойства моментов}
               т.к. по условию \(\mathbb{E}|\xi|^t < +\infty\).
           \end{proof}
 \end{enumerate}
+%</33>
 
 \subsection{Ключевые неравенства}
 
 В этом разделе \(\xi\) --- случайная величина с \(\mathbb{E}|\xi| < +\infty\) и \(\mathbb{D}\xi < +\infty\).
 
 \subsubsection{Неравенство Йенсена}
 
+%<*34>
 \begin{theorem}[неравенство Йенсена]
     Пусть функция \(g\) выпукла вниз. Тогда \(\mathbb{E}g|\xi| \geq g(\mathbb{E}\xi)\).
 
-    Если \(g\) выпукла вверх, то \(\mathbb{E}g|\xi| \leq g(\mathbb{E}\xi)\)
+    Если \(g\) выпукла вверх, то \(\mathbb{E}g(\xi) \leq g(\mathbb{E}\xi)\)
 
     \begin{remark}
         Если функция выпукла, то в любой точке её графика можно провести прямую, лежащую ниже графика.
@@ -162,12 +167,14 @@ \subsubsection{Неравенство Йенсена}
 \end{corollary}
 \begin{proof}
     Т.к. \(s < t\), то \(g(x) = x^{\frac{t}{s}}\) --- выпуклая. По неравенству Йенсена при \(\eta = \xi^s\):
-    \[(\mathbb{E}|\xi|^s)^{\frac{t}{s}} = \mathbb{E}|\eta|^{\frac{t}{s}} = g(\mathbb{E}|\eta|) \leq \mathbb{E} g(\eta) = \mathbb{E}(|\xi|^s)^{\frac{t}{s}} = \mathbb{E}|\xi|^t\]
+    \[(\mathbb{E}|\xi|^s)^{\frac{t}{s}} = \mathbb{E}|\eta|^{\frac{t}{s}} = g(\mathbb{E}|\eta|) \leq \mathbb{E} g(|\eta|) = \mathbb{E}(|\xi|^s)^{\frac{t}{s}} = \mathbb{E}|\xi|^t\]
     Возьмём корень степени \(t\):
     \[(\mathbb{E}|\xi|^s)^{\frac{1}{s}} \leq (\mathbb{E}|\xi|^{t})^{\frac{1}{t}}\]
 \end{proof}
-В частности, если \(s = 1\), то \(\mathbb{E}|\xi| \leq \sqrt[t]{|\xi|^t}\)
+В частности, если \(s = 1\), то \(\mathbb{E}|\xi| \leq \sqrt[t]{\mathbb{E}|\xi|^t}\)
+%</34>
 
+%<*35>
 \subsubsection{Неравенство Маркова}
 
 \begin{theorem}
@@ -184,13 +191,13 @@ \subsubsection{Неравенство Маркова}
     \begin{align}
         |\xi|                     & = |\xi| \cdot I(|\xi| \geq \varepsilon) + |\xi| I(|\xi| < \varepsilon) \\
                                   & \geq |\xi| I(|\xi| \geq \varepsilon)                                   \\
-                                  & \geq \xi I(|\xi| \geq \varepsilon)                                     \\
+                                  & \geq \varepsilon I(|\xi| \geq \varepsilon)                             \\
                                   & \Downarrow                                                             \\
         \mathbb{E}|\xi|           & \geq \mathbb{E}(\varepsilon I(|\xi| \geq \varepsilon))                 \\
                                   & = \varepsilon \mathbb{E}(I(|\xi| \geq \varepsilon))                    \\
                                   & = \varepsilon P(|\xi| \geq \varepsilon)                                \\
                                   & \Downarrow                                                             \\
-        P(|\xi| \geq \varepsilon) & \leq \frac{\mathbb{E}\xi}{\varepsilon}
+        P(|\xi| \geq \varepsilon) & \leq \frac{\mathbb{E}|\xi|}{\varepsilon}
     \end{align}
 \end{proof}
 
@@ -200,7 +207,7 @@ \subsubsection{Неравенство Чебышева}
     \[P(|\xi - \mathbb{E}\xi| \geq \varepsilon) \leq \frac{\mathbb{D}\xi}{\varepsilon^2} \quad \forall \varepsilon > 0\]
 \end{theorem}
 \begin{proof}
-    \[P(|\xi - \mathbb{E}\xi| \geq \varepsilon) = P((\xi - \mathbb{E}\xi)^2 \geq \varepsilon) \leq \frac{\mathbb{E}(\xi - \mathbb{E}\xi)^2}{\varepsilon^2} = \frac{\mathbb{D}\xi}{\varepsilon^2}\]
+    \[P(|\xi - \mathbb{E}\xi| \geq \varepsilon) = P((\xi - \mathbb{E}\xi)^2 \geq \varepsilon^2) \leq \frac{\mathbb{E}(\xi - \mathbb{E}\xi)^2}{\varepsilon^2} = \frac{\mathbb{D}\xi}{\varepsilon^2}\]
 \end{proof}
 
 \subsubsection{Обобщенное неравенство Чебышева}
@@ -225,7 +232,9 @@ \subsubsection{Правило трёх сигм}
 \begin{remark}
     Можем заметить, что правило трёх сигм дает нам куда большую точность. Таким образом, неравенство Чебышева грубо.
 \end{remark}
+%</35>
 
+%<*36>
 \subsubsection{Среднее арифметическое случайных величин}
 
 Можем изменить модель с \(n\) экспермиентами так, что проходит 1 эксперимент с \(n\) переменными.
@@ -248,7 +257,9 @@ \subsubsection{Закон больших чисел Чебышева}
     \[P\left( \left|\frac{S_n}{n} - a\right| \geq \varepsilon \right) = P\left( \left|\frac{S_n}{n} - \mathbb{E}\left( \frac{S_n}{n} \right) \right| \geq \varepsilon \right) \leq \frac{\mathbb{D}\left( \frac{S_n}{n} \right)}{\varepsilon^2} = \frac{\frac{d}{n}}{\varepsilon^2} = \frac{d}{\varepsilon^2} \cdot \frac{1}{n} \xrightarrow{n \to +\infty} 1\]
     \[P\left( \left|\frac{S_n}{n} - a\right| \geq \varepsilon \right) \xrightarrow{n \to +\infty} 1 \Rightarrow \frac{S_n}{n} \xrightarrow{P} a\]
 \end{proof}
+%</36>
 
+%<*37>
 \subsubsection{Закон больших чисел Бернулли}
 
 \begin{theorem}
@@ -288,6 +299,7 @@ \subsubsection{Закон больших чисел Маркова}
     По неравенству Чебышева:
     \[P\left( |\frac{S_n}{n} - \mathbb{E}\left( \frac{S_n}{n} \right)| \geq \varepsilon \right) \leq \frac{\mathbb{D}\left( \frac{S_n}{n} \right)}{\varepsilon^2} = \frac{\mathbb{D}(S_n)}{n^2 \varepsilon^2} = \frac{\smallO(n^2)}{n^2 \varepsilon^2} = \frac{1}{\varepsilon^2} \cdot \underbrace{\frac{\smallO(n^2)}{n^2}}_{ \to 0} \xrightarrow{n \to +\infty} 0\]
 \end{proof}
+%</37>
 
 \begin{theorem}[центральная предельная теорема Ляпунова, 1901 г.]
     Пусть \(\xi_1 \dots \xi_n\) --- последовательность независимых одинаково распределенных случайных величин с конечной дисперсией, \(S_n = \xi_1 + \dots \xi_n\). Тогда имеет место слабая сходимость:'

probability theory/4sem/11.tex

@@ -4,6 +4,7 @@ \section{Совместные распределения случайных ве
 
 Предположим, что мы выполняем некоторый эксперимент. У нас есть некоторые случайные величины и нас интересует, как они связаны, а также мы хотим построить модель, которая по значениям одних случайных величин достаточно точно предсказывает значения других величин.
 
+%<*38>
 \begin{definition}
     \textbf{Случайным вектором} \((\xi_1, \xi_2 \dots \xi_n)\) называется упорядоченный набор случайных величин, заданных на одном вероятностном пространстве \((\Omega, \mathfrak{F}, P)\). Случайный вектор задает отображение \((\xi_1 \dots \xi_n)(\omega) : \Omega \to \R^n\). Поэтому случайный вектор также называют \textbf{многомерной случайной величиной}, а соответствующее распределение \(P(\prod) = P(\omega \in \Omega)(\xi_1 \dots \xi_n)(\omega) \in B\), где \(B \in \mathfrak{B}(\R^n)\) называется \textbf{многомерным распределением}.
 \end{definition}
@@ -69,6 +70,7 @@ \subsection{Независимость случайных величин}
 \begin{remark}
     В дальнейшем под независимыми понимаем независимые в совокупности.
 \end{remark}
+%</38>
 
 \begin{remark}
     В дальнейшем мы изучаем только:
@@ -80,6 +82,7 @@ \subsection{Независимость случайных величин}
 
 \subsection{Дискретная система двух случайных величин}
 
+%<*39>
 \begin{definition}
     Случайные величины \(\xi\) и \(\eta\) имеют дискретное совместное распределение, если случайный вектор \((\xi, \eta)\) принимает не более чем счётное число значений.
 \end{definition}
@@ -103,13 +106,15 @@ \subsection{Дискретная система двух случайных ве
 \begin{definition}
     Случайные величины \(\xi\) и \(\eta\) \textbf{независимы}, если во всех клетках распределения \(p_{ij} = p_i q_j\)
 \end{definition}
+%</39>
 
 \begin{example}
     \unfinished
 \end{example}
 
 \subsection{Абсолютно непрерывная система двух случайных величин}
 
+%<*40>
 \begin{definition}
     Случайные величины \(\xi\) и \(\eta\) имеют \textbf{абсолютно непрерывное совместное распределение}, если существует функция \(f_{\xi, \eta} \geq 0\), такая что
     \[P((\xi, \eta) \in B) = \iint_B f_{\xi, \eta} dx dy \quad \forall B \in \mathfrak{B}(\R^n)\]
@@ -154,6 +159,7 @@ \subsection{Абсолютно непрерывная система двух с
 \begin{example}
     Бросаем точку на отрезок на плоскости. Первая координата --- \(\xi\), вторая координата --- \(\eta\). Мера отрезка на плоскости есть 0, при этом число точек несчётно. Таким образом, распределение \((\xi, \eta)\) сингулярное.
 \end{example}
+%</40>
 
 \subsection{Многомерное равномерное распределение}
 

probability theory/4sem/12.tex

@@ -1,13 +1,17 @@
 \chapter{1 мая}
 
+%<*41>
 Пусть \(\xi_1\) и \(\xi_2\) --- случайные величины с плотностью \(f(x, y)\) и \(g : \R^2 \to \R\). Что мы можем сказать про случайную величину \(g(\xi_1, \xi_2)\)?
 
 \begin{theorem}
     Пусть \(z \in \R, D_z = \{(x, y)\ |\ g(x, y) < z\}\). Тогда случайная величина \(\eta = g(x, y)\) имеет функцию распределения:
     \[F_\eta(z) = \iint_{D_z} f(x, y) dx dy\]
 \end{theorem}
+\begin{proof}
+    \[F_\eta = P(\eta < z) = P(g(\xi_1, \xi_2) < z) = P((\xi_1, \xi_2) \in D_z) = \iint_{D_z} f(x, y) dx dy\]
+\end{proof}
 
-\section{Формула свертки}
+\subsection{Формула свертки}
 
 \begin{theorem}
     Пусть \(\xi_1, \xi_2\) --- независимые, абсолютно непрерывные случайные величины с плотностями \(f_{\xi_1}(x)\) и \(f_{\xi_2}(x)\) \\
@@ -16,18 +20,20 @@ \section{Формула свертки}
 \end{theorem}
 \begin{proof}
     Т.к. случайные величины \(\xi_1\) и \(\xi_2\) независимы, то плотность совместного распределения равна произведению плотностей: \(f_{\xi_1\xi_2}(x, y) = f_{\xi_1}(x)f_{\xi_2}(y)\). Применим предыдущую теорему для \(\eta = g(\xi_1, \xi_2) = \xi_1 + \xi_2\). Тогда \(D_z = \{(x, y) \in \R^2 \big| x + y < z\}\)
-    \[ F_{\xi_1 + \xi_2}(z) = \iint_{D_z} f_{\xi_1\xi_2}(x, y)\,dx\,dy = \int_{-\infty}^\infty \,dx \int_{-\infty}^{t - x} f_{\xi_1}(x) f_{\xi_2}(y)\,dy = \]
+    \[ f_{\xi_1 + \xi_2}(z) = \iint_{D_z} f_{\xi_1\xi_2}(x, y)\,dx\,dy = \int_{-\infty}^\infty \,dx \int_{-\infty}^{t - x} f_{\xi_1}(x) f_{\xi_2}(y)\,dy = \]
     \[ \left[\begin{matrix}
                 y = t - x            & t = y + x    & dy = dy \\
                 y(-\infty) = -\infty & t(z - x) = z &
             \end{matrix}\right] = \int_{\-\infty}^\infty\,dx\int_{-\infty}^z f_{\xi_1}(x)f_{\xi_2}(t - x)\,dt = \]
     \[ = \int_{-\infty}^z \underbrace{\int_{-\infty}^\infty f_{\xi_1}(x)f_{\xi_2}(t - x)\,dx}_{f_{\xi_1 + \xi_2}(t)} \,dt \implies f_{\xi_1 + \xi_2}(t) = \int_{-\infty}^\infty f_{\xi_1}(x)f_{\xi_2}(t - x)\,dx \]
 \end{proof}
+%</41>
 
 \section{Сумма стандартных распределений}
 
+%<*42>
 \begin{definition}
-    Если сумма двух независимых случайных величин одного типа распределений также будет этого типа, то говорят что это распределение *устойчиво* относительно суммирования
+    Если сумма двух независимых случайных величин одного типа распределений также будет этого типа, то говорят что это распределение \textbf{устойчиво} относительно суммирования.
 \end{definition}
 \begin{example}
     Независимые случайные величины:
@@ -50,15 +56,20 @@ \section{Сумма стандартных распределений}
 \end{example}
 \begin{proof}
     \[ P(\xi_1 + \xi_2 = k) = \sum_{i = 0}^k P(\xi_1 = i, \xi_2 = k - i) = \sum_{i = 0}^k p(\xi_1 = i)\cdot p(\xi_2 = k - i) = \]
-    \[ = \sum_{i = 0}^k \]
-    \unfinished
+    \[ = \sum_{i = 0}^k \frac{\lambda^i}{i!} e^{ - \lambda} \frac{\mu^{k - i}}{(k - i)!} e^{ - \mu} = e^{ - \lambda - \mu} \sum_{i = 0}^k \frac{\lambda^i}{i!} \frac{\mu^{k - i}}{(k - i)!} = \frac{(\lambda + \mu)^k}{k!} e^{ - (\lambda + \mu)} \]
 \end{proof}
 \begin{example}
     \(\xi_1, \xi_2 \in N(0, 1)\) --- независимые случайные величины. Тогда \(\xi_1 + \xi_2 \in N(0, 2)\)
 \end{example}
 \begin{proof}
-    \unfinished
+    \begin{align*}
+        f_{\xi_1 + \xi_2}(t) & = \int_{ -\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} e^{ - \frac{x^2}{2}} \frac{1}{\sqrt{2\pi}} e^{ - \frac{(t - x)^2}{2}}               \\
+                             & = \frac{1}{2\pi} \int_{ -\infty}^{+\infty} e^{ -(x^2 - tx + \frac{t^2}{2})} dx                                                        \\
+                             & = \frac{1}{2\pi} e^{ - \frac{t^2}{4}} \int_{ -\infty}^{+\infty} e^{ - \left(x - \frac{t}{2}\right)^2} d\left( x - \frac{t}{2} \right) \\
+                             & = \frac{1}{2\pi} e^{ - \frac{t^2}{4}} \sqrt{\pi}
+    \end{align*}
 \end{proof}
+%</42>
 \begin{example}\itemfix
     \begin{itemize}
         \item \(\xi_1 \in N(a_1, \sigma_1^2)\)
@@ -72,7 +83,7 @@ \section{Сумма стандартных распределений}
 \begin{proof}
     По индукции:
     \begin{itemize}
-        \item \item База: \(E_\alpha = \Gamma_{\alpha, 1}\)
+        \item База: \(E_\alpha = \Gamma_{\alpha, 1}\)
         \item Переход: Пусть \(\xi_1 + \dots + \xi_{k - 1} = \Gamma_{\alpha, k - 1}\), тогда:
               \[ f_{\xi_{k - 1}}(x) = \begin{cases}
                       0                                                     & x \le 0 \\
@@ -98,6 +109,7 @@ \section{Сумма стандартных распределений}
 
 \section{Условное распределение}
 
+%<*43>
 \begin{definition}
     \textbf{Условным распределением} случайной величины из системы случайных величин \((\xi, \eta)\) называется ее распределение найденное при условии, что другая случайная величина приняла определенное значение
 \end{definition}
@@ -109,7 +121,7 @@ \section{Условное распределение}
     \begin{enumerate}
         \item Условное распределение в дискретной системе двух случайных величин
 
-              \unfinished
+              \[P(\xi = x_i|\eta = y_j) = \frac{P(\xi = x_i, \eta = y_j)}{P(\eta = y_j)} \]
         \item Условное распределение в непрерывной системе двух случайных величин
 
               Пусть двумерная абсолютно непрерывная случайная величина \((\xi, \eta)\) задана плотностью \(f_{\xi, \eta}(x, y)\). Тогда плотность условного распределения \(\xi | \eta = y\) будет равна:
@@ -125,6 +137,7 @@ \section{Условное распределение}
     Аналогично
     \[ E(\eta | \xi = x) = \int_{-\infty}^\infty y\cdot f(y | x)\,dy \]
 \end{lemma}
+%</43>
 \begin{remark}
     При фиксированном значении переменной \(x\) \(f(y | x)\) будет функцией зависящей только от \(y\), а условное математическое ожидание будет числом. Если считать \(x\) переменной, то условное математическое ожидание является функцией зависящей от \(x\) и называется функцией \textbf{регрессии} \(\eta\) на \(\xi\). Т.к. \(\eta\) --- случайная величина, то \(E(\xi | \eta)\) можно рассматривать как случайную величину.
 \end{remark}