Add missing \vx to non-linearity formula

Closes Atcold#812

Author: Atcold

docs/_layouts/custom.html

@@ -15,6 +15,56 @@
     $$\gdef \deriv #1 #2 {\frac{\D #1}{\D #2}}$$
     $$\gdef \pd #1 #2 {\frac{\partial #1}{\partial #2}}$$
     $$\gdef \set #1 {\left\lbrace #1 \right\rbrace} $$
+
+    % My colours
+
+    $$\gdef \aqua #1 {\textcolor{8dd3c7}{#1}} $$
+    $$\gdef \yellow #1 {\textcolor{ffffb3}{#1}} $$
+    $$\gdef \lavender #1 {\textcolor{bebada}{#1}} $$
+    $$\gdef \red #1 {\textcolor{fb8072}{#1}} $$
+    $$\gdef \blue #1 {\textcolor{80b1d3}{#1}} $$
+    $$\gdef \orange #1 {\textcolor{fdb462}{#1}} $$
+    $$\gdef \green #1 {\textcolor{b3de69}{#1}} $$
+    $$\gdef \pink #1 {\textcolor{fccde5}{#1}} $$
+    $$\gdef \vgrey #1 {\textcolor{d9d9d9}{#1}} $$
+    $$\gdef \violet #1 {\textcolor{bc80bd}{#1}} $$
+    $$\gdef \unka #1 {\textcolor{ccebc5}{#1}} $$
+    $$\gdef \unkb #1 {\textcolor{ffed6f}{#1}} $$
+
+    % Vectors
+    $$\gdef \vx {\pink{\vect{x }}} $$
+    $$\gdef \vy {\blue{\vect{y }}} $$
+    $$\gdef \vb {\vect{b}} $$
+    $$\gdef \vz {\orange{\vect{z }}} $$
+    $$\gdef \vtheta {\vect{\theta }} $$
+    $$\gdef \vh {\green{\vect{h }}} $$
+    $$\gdef \vq {\aqua{\vect{q }}} $$
+    $$\gdef \vk {\yellow{\vect{k }}} $$
+    $$\gdef \vv {\green{\vect{v }}} $$
+    $$\gdef \vytilde {\violet{\tilde{\vect{y}}}} $$
+    $$\gdef \vyhat {\red{\hat{\vect{y}}}} $$
+    $$\gdef \vycheck {\blue{\check{\vect{y}}}} $$
+    $$\gdef \vzcheck {\blue{\check{\vect{z}}}} $$
+    $$\gdef \vztilde {\green{\tilde{\vect{z}}}} $$
+    $$\gdef \vmu {\green{\vect{\mu}}} $$
+    $$\gdef \vu {\orange{\vect{u}}} $$
+
+    % Matrices
+    $$\gdef \mW {\matr{W}} $$
+    $$\gdef \mA {\matr{A}} $$
+    $$\gdef \mX {\pink{\matr{X}}} $$
+    $$\gdef \mY {\blue{\matr{Y}}} $$
+    $$\gdef \mQ {\aqua{\matr{Q }}} $$
+    $$\gdef \mK {\yellow{\matr{K }}} $$
+    $$\gdef \mV {\lavender{\matr{V }}} $$
+    $$\gdef \mH {\green{\matr{H }}} $$
+
+    % Coloured math
+    $$\gdef \cx {\pink{x}} $$
+    $$\gdef \ctheta {\orange{\theta}} $$
+    $$\gdef \cz {\orange{z}} $$
+    $$\gdef \Enc {\lavender{\text{Enc}}} $$
+    $$\gdef \Dec {\aqua{\text{Dec}}}$$
 </div>
 
 {% if page.lecturer %}

docs/ar/week01/01-3.md

@@ -63,7 +63,7 @@ Note that translation alone is not linear since 0 will not always be mapped to 0
 In our visualization, we have five branches of a spiral, with each branch corresponding to a different colour. The points live in a two dimensional plane and can be represented as a tuple; the colour represents a third dimension which can be thought of as the different classes for each of the points. We then use the network to separate each of the points by colour.
 -->
 
-في النموذج أدناه، لدينا خمس تفرعات لولبية لكل منها لون مختلف. توجد النقاط في فضاء ثنائي البعد ونستطيع تمثيلها بزوجين من الأرقام ويمثل اللون بُعدًا ثالثًا نستخدمه للتصنيف بين النقاط. وبعد ذلك نستطيع إستخدام الشبكة العصبية لفصل كل نقطة من النقاط بناءً على اللون. 
+في النموذج أدناه، لدينا خمس تفرعات لولبية لكل منها لون مختلف. توجد النقاط في فضاء ثنائي البعد ونستطيع تمثيلها بزوجين من الأرقام ويمثل اللون بُعدًا ثالثًا نستخدمه للتصنيف بين النقاط. وبعد ذلك نستطيع إستخدام الشبكة العصبية لفصل كل نقطة من النقاط بناءً على اللون.
 
 <!--
 | <center><img src="{{site.baseurl}}/images/week01/01-3/Spiral1.png" width="200px"/></center> | <center><img src="{{site.baseurl}}/images/week01/01-3/Spiral2.png" width="200px"/></center> |
@@ -81,7 +81,7 @@ In our visualization, we have five branches of a spiral, with each branch corres
 The network \"stretches\" the space fabric in order to separate each of the points into different subspaces. At convergence, the network separates each of the colours into different subspaces of the final manifold. In other words, each of the colours in this new space will be linearly separable using a one *vs.* all regression. The vectors in the diagram can be represented by a five by two matrix; this matrix can be multiplied to each point to return scores for each of the five colours. Each of the points can then be classified by colour using their respective scores. Here, the output dimension is five, one for each of the colours, and the input dimension is two, one for the x and y coordinates of each of the points. To recap, this network basically takes the space fabric and performs a space transformation parametrised by several matrices and then by non-linearities.
 -->
 
-تقوم الشبكة /"بتمديد/" نسيج الفضاء حتى نستطيع فصل كل نقطة إلى أجزاء فرعية مختلفة. عند التقارب للتنيجة نجد أن الشبكة قد فصلت كل لون إلى فضاء فرعي مختلف من المتشعب النهائي (manifold). بعبارة أخرى يمكن فصل كل لون في الفضاء الجديد فصله بشكل خطي عن طريق استخدام انحدار واحد *مقابل* عدة انحدارات. يمكن تمثيل المتجهات بالرسم التوضيحي عن طريق مصفوفه بحجم 2 $times$ 5، وضرب تلك المصفوفة بكل نقطة لاسترجاع درجة كل لون من الألوان الخمسة. حينئذ يمكن تصنيف النقاط باللون حسب درجات كل نقطة. تتكون المخرجات من خمسة عناصر، حيث يمثل كل منها لونًا ما، بينما تتكون المدخلات من عنصرين واحد للإحداثي السيني وآخر للإحداثي الصادي للنقاط. للتلخيص هذه الشبكة تأخذ نسيج الفضاء وتقوم بتشكيله باستخدام عدة مصفوفات يتلوها عمليات لاخطية.   
+تقوم الشبكة /"بتمديد/" نسيج الفضاء حتى نستطيع فصل كل نقطة إلى أجزاء فرعية مختلفة. عند التقارب للتنيجة نجد أن الشبكة قد فصلت كل لون إلى فضاء فرعي مختلف من المتشعب النهائي (manifold). بعبارة أخرى يمكن فصل كل لون في الفضاء الجديد فصله بشكل خطي عن طريق استخدام انحدار واحد *مقابل* عدة انحدارات. يمكن تمثيل المتجهات بالرسم التوضيحي عن طريق مصفوفه بحجم 2 $times$ 5، وضرب تلك المصفوفة بكل نقطة لاسترجاع درجة كل لون من الألوان الخمسة. حينئذ يمكن تصنيف النقاط باللون حسب درجات كل نقطة. تتكون المخرجات من خمسة عناصر، حيث يمثل كل منها لونًا ما، بينما تتكون المدخلات من عنصرين واحد للإحداثي السيني وآخر للإحداثي الصادي للنقاط. للتلخيص هذه الشبكة تأخذ نسيج الفضاء وتقوم بتشكيله باستخدام عدة مصفوفات يتلوها عمليات لاخطية.
 
 
 
@@ -97,14 +97,14 @@ Figure 2: Network Architecture
 </center>
 -->
 
-<center> <img src="{{site.baseurl}}/images/week01/01-3/Network.png" style="zoom: 40%; background-color:#DCDCDC;" /><br> شكل ٢: هندسة الشبكة</center>   
+<center> <img src="{{site.baseurl}}/images/week01/01-3/Network.png" style="zoom: 40%; background-color:#DCDCDC;" /><br> شكل ٢: هندسة الشبكة</center>
 
 <!--
 The first matrix maps the two dimensional input to a 100 dimensional intermediate hidden layer. We then have a non-linear layer, `ReLU` or Rectified Linear Unit, which is simply *positive part* $(\cdot)^+$ function. Next, to display our image in a graphical representation, we include an embedding layer that maps the 100 dimensional hidden layer input to a two-dimensional output. Lastly, the embedding layer is projected to the final, five-dimensional layer of the network, representing a score for each colour.
 
 -->
 
-تربط المصفوفة الأولى المدخل ثنائي الأبعاد بطبقة خفية وسطية ذات ١٠٠ بعد. لدينا وبعد ذلك طبقة لاخطية ألا وهي دالة `ReLU`  وهي وحدة خطية مصححة، والتي تعبر ببساطة عن *الجزء الموجب* $(\cdot)^+$ من المعادلة. وليتم عرض الصورة بشكل رسومي نضيف طبقة التضمين (embedding layer) والتي تقوم بربط الطبقة الخفية المدخلة ذات الـ ١٠٠ بُعد بمخرج ثنائي الأبعاد. أخيرا يتم إسقاط طبقة التضمين على الطبقة ذات الأبعاد الخمسة في الشبكة، والتي تمثل قيمة لكل لون.    
+تربط المصفوفة الأولى المدخل ثنائي الأبعاد بطبقة خفية وسطية ذات ١٠٠ بعد. لدينا وبعد ذلك طبقة لاخطية ألا وهي دالة `ReLU`  وهي وحدة خطية مصححة، والتي تعبر ببساطة عن *الجزء الموجب* $(\cdot)^+$ من المعادلة. وليتم عرض الصورة بشكل رسومي نضيف طبقة التضمين (embedding layer) والتي تقوم بربط الطبقة الخفية المدخلة ذات الـ ١٠٠ بُعد بمخرج ثنائي الأبعاد. أخيرا يتم إسقاط طبقة التضمين على الطبقة ذات الأبعاد الخمسة في الشبكة، والتي تمثل قيمة لكل لون.
 
 
 <!--
@@ -118,7 +118,7 @@ The Jupyter Notebook can be found [here] (https://github.com/Atcold/pytorch-Deep
 
 
 
-مفكرة جوبيتر بالإمكان الوصول لها من [هنا](https://github.com/Atcold/pytorch-Deep-Learning/blob/master/02-space_stretching.ipynb). للتمكن من تشغيل المفكرة عليك التأكد من تحميل بيئة `pDL`  كما هو موضح في [`README.md`](https://github.com/Atcold/pytorch-Deep-Learning/blob/master/README.md).    
+مفكرة جوبيتر بالإمكان الوصول لها من [هنا](https://github.com/Atcold/pytorch-Deep-Learning/blob/master/02-space_stretching.ipynb). للتمكن من تشغيل المفكرة عليك التأكد من تحميل بيئة `pDL`  كما هو موضح في [`README.md`](https://github.com/Atcold/pytorch-Deep-Learning/blob/master/README.md).
 
 <!--
 ### PyTorch `device`
@@ -158,7 +158,7 @@ To see the documentation for a function in a notebook cell, use `Shift + Tab.`
 -->
 
 
-### إرشادات مفكرة جوبيتر 
+### إرشادات مفكرة جوبيتر
 
 
 
@@ -228,7 +228,7 @@ The matrices used were generated with Numpy; however, we can also use PyTorch's
 Next, we visualize the following transformation:
 
 $$
-f(x) = \tanh\bigg(\begin{bmatrix} s & 0 \\ 0 & s \end{bmatrix} \bigg)
+f(\vx) = \tanh\bigg(\begin{bmatrix} s & 0 \\ 0 & s \end{bmatrix} \vx \bigg)
 $$
 
 Recall, the graph of $\tanh(\cdot)$ in Fig. 4.
@@ -246,15 +246,15 @@ The effect of this non-linearity is to bound points between $-1$ and $+1$, creat
 <center> Figure 5:   Non-linear Transformations </center>
 
 -->
-### التحولات غير الخطية 
+### التحولات غير الخطية
 
 
 
-لنقوم الآن بتمثيل التحول التالي 
+لنقوم الآن بتمثيل التحول التالي
 
 
 $$
-f(x) = \tanh\bigg(\begin{bmatrix} s & 0 \\ 0 & s \end{bmatrix} \bigg)
+f(\vx) = \tanh\bigg(\begin{bmatrix} s & 0 \\ 0 & s \end{bmatrix} \vx \bigg)
 $$
 
 تذكر رسمة  $\tanh(\cdot)$  في شكل ٤

docs/en/week01/01-3.md

@@ -94,7 +94,7 @@ The matrices used were generated with Numpy; however, we can also use PyTorch's
 Next, we visualize the following transformation:
 
 $$
-f(x) = \tanh\bigg(\begin{bmatrix} s & 0 \\ 0 & s \end{bmatrix} \bigg)
+f(\vx) = \tanh\bigg(\begin{bmatrix} s & 0 \\ 0 & s \end{bmatrix} \vx \bigg)
 $$
 
 Recall, the graph of $\tanh(\cdot)$ in Fig. 4.