End neural network

Author: kwonohdong

Ch03.Neural_network.ipynb

@@ -1229,6 +1229,7 @@
     "network = init_network()\n",
     "\n",
     "accuracy_cnt = 0\n",
+    "\n",
     "for i in range(len(x)):\n",
     "    y = predict(network, x[i])\n",
     "    p = np.argmax(y)\n",
@@ -1250,12 +1251,92 @@
     "그 외에도 전체 데이터를 균일하게 분포시키는 데이터 **백색화**<sup>whitening</sup> 등도 존재한다."
    ]
   },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "### 3.6.3 배치 처리"
+   ]
+  },
   {
    "cell_type": "code",
-   "execution_count": null,
+   "execution_count": 32,
    "metadata": {},
-   "outputs": [],
-   "source": []
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "(10000, 784)\n",
+      "(784,)\n",
+      "(784, 50)\n",
+      "(50, 100)\n",
+      "(100, 10)\n"
+     ]
+    }
+   ],
+   "source": [
+    "x, _ = get_data()\n",
+    "network = init_network()\n",
+    "\n",
+    "W1, W2, W3 = network['W1'], network['W2'], network['W3']\n",
+    "print(x.shape)\n",
+    "print(x[0].shape)\n",
+    "print(W1.shape)\n",
+    "print(W2.shape)\n",
+    "print(W3.shape)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "하나로 묶은 입력 데이터를 **배치**<sup>batch</sup>라 한다.\n",
+    "\n",
+    "**※ NOTE**  \n",
+    "수치 계산 라이브러리 대부분이 큰 배열을 효율적으로 처리할 수 있도록 고도로 최적화되어 있다.  \n",
+    "또한 느린 I/O를 통해 데이터를 읽는 횟수가 줄기 때문에 배치 처리를 수행함으로써 얻는 이점이 커지게 된다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 36,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Accuracy:0.9352\n"
+     ]
+    }
+   ],
+   "source": [
+    "x, t = get_data()\n",
+    "network = init_network()\n",
+    "\n",
+    "batch_size = 100\n",
+    "accuracy_cnt = 0\n",
+    "\n",
+    "for i in range(0, len(x), batch_size):\n",
+    "    x_batch = x[i:i+batch_size]\n",
+    "    y_batch = predict(network, x_batch)\n",
+    "    p = np.argmax(y_batch, axis=1)\n",
+    "    \n",
+    "    accuracy_cnt += np.sum(p == t[i:i+batch_size])\n",
+    "    \n",
+    "print(\"Accuracy:\" + str(float(accuracy_cnt) / len(x)))"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## 3.7 정리\n",
+    "신경망은 각 층의 뉴런들이 다음 층의 뉴런으로 신호를 전달한다는 점에서 앞 장의 퍼셉트론과 같다.  \n",
+    "하지만 신경망에서는 활성화 함수로 시그모이드 함수를, 퍼셉트론에서는 계단 함수를 활성화 함수로 사용했다.  \n",
+    "이 차이가 신경망 학습에 중요한 점이다."
+   ]
   }
  ],
  "metadata": {