Chap05-Deep_learning_for_computer_vision/5.1-introduction-to-convnets.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 5.1 - 합성곱 신경망 소개\n",
    "\n",
    "이 노트북은 케라스 창시자에게 배우는 딥러닝 책의 5장 1절의 코드 예제입니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "컨브넷의 정의와 컨브넷이 컴퓨터 비전 관련 작업에 잘 맞는 이유에 대해 이론적 배경을 알아보겠습니다. 하지만 먼저 간단한 컨브넷 예제를 둘러 보죠. [2장-신경망과의 첫만남](https://github.com/ExcelsiorCJH/Deep-Learning-with-Python/blob/master/Chap02-mathematical_building_blocks_of_neural_networks/Chap02-mathematical_building_blocks_of_neural_networks.ipynb)에서 완전 연결 네트워크로 풀었던(이 방식의 테스트 정확도는 97.8%였습니다) MNIST 숫자 이미지 분류에 컨브넷을 사용해 보겠습니다. 기본적인 컨브넷이더라도 2장의 완전 연결된 모델의 성능을 훨씬 앞지를 것입니다.\n",
    "\n",
    "다음 코드는 기본적인 컨브넷의 모습입니다. `Conv2D`와 `MaxPooling2D` 층을 쌓아 올렸습니다. 잠시 후에 이들이 무엇인지 배우겠습니다.\n",
    "\n",
    "컨브넷이 `(image_height, image_width, image_channels)` 크기의 입력 텐서를 사용한다는 점이 중요합니다(배치 차원은 포함하지 않습니다). 이 예제에서는 MNIST 이미지 포맷인 `(28, 28, 1)` 크기의 입력을 처리하도록 컨브넷을 설정해야 합니다. 이 때문에 첫 번째 층의 매개변수로 `input_shape=(28, 28, 1)`을 전달합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'2.2.4'"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import keras\n",
    "\n",
    "keras.__version__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "conv2d_1 (Conv2D)            (None, 26, 26, 32)        320       \n",
      "_________________________________________________________________\n",
      "max_pooling2d_1 (MaxPooling2 (None, 13, 13, 32)        0         \n",
      "_________________________________________________________________\n",
      "conv2d_2 (Conv2D)            (None, 11, 11, 64)        18496     \n",
      "_________________________________________________________________\n",
      "max_pooling2d_2 (MaxPooling2 (None, 5, 5, 64)          0         \n",
      "_________________________________________________________________\n",
      "conv2d_3 (Conv2D)            (None, 3, 3, 64)          36928     \n",
      "=================================================================\n",
      "Total params: 55,744\n",
      "Trainable params: 55,744\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "from keras import layers\n",
    "from keras import models\n",
    "from keras import backend as K\n",
    "\n",
    "K.clear_session()\n",
    "\n",
    "model = models.Sequential()\n",
    "model.add(layers.Conv2D(filters=32, kernel_size=[3, 3], \n",
    "                        activation='relu', input_shape=(28, 28, 1)))\n",
    "model.add(layers.MaxPooling2D(pool_size=[2, 2]))\n",
    "model.add(layers.Conv2D(64, [3, 3], activation='relu'))\n",
    "model.add(layers.MaxPooling2D([2, 2]))\n",
    "model.add(layers.Conv2D(64, [3, 3], activation='relu'))\n",
    "\n",
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`Conv2D`와 `MaxPooling2D` 층의 출력은 `(height, width, channels)` 크기의 **3D 텐서**입니다. 높이와 넓이 차원은 네트워크가 깊어질수록 작아지는 경향이 있습니다. 채널의 수는 Conv2D 층에 전달된 첫 번째 매개변수에 의해 조절됩니다(32개 또는 64개).\n",
    "\n",
    "다음 단계에서 마지막 층의 (`(3, 3, 64)` 크기인) 출력 텐서를 완전 연결 네트워크에 주입합니다. \n",
    "- 이 네트워크는 이미 익숙하게 보았던  Dense 층을 쌓은 분류기입니다.\n",
    "- 이 분류기는 1D 벡터를 처리하는데 이전 층의 출력이 3D 텐서입니다. 그래서 먼저 3D 출력을 1D 텐서로 펼쳐야 합니다. 그다음 몇 개의 Dense 층을 추가합니다:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(layers.Flatten())  # 3D → 1D\n",
    "model.add(layers.Dense(64, activation='relu'))\n",
    "model.add(layers.Dense(10, activation='softmax'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "10개의 클래스를 분류하기 위해 마지막 층의 출력 크기를 10으로 하고 소프트맥스 활성화 함수를 사용합니다. 이제 전체 네트워크는 다음과 같습니다:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "conv2d_1 (Conv2D)            (None, 26, 26, 32)        320       \n",
      "_________________________________________________________________\n",
      "max_pooling2d_1 (MaxPooling2 (None, 13, 13, 32)        0         \n",
      "_________________________________________________________________\n",
      "conv2d_2 (Conv2D)            (None, 11, 11, 64)        18496     \n",
      "_________________________________________________________________\n",
      "max_pooling2d_2 (MaxPooling2 (None, 5, 5, 64)          0         \n",
      "_________________________________________________________________\n",
      "conv2d_3 (Conv2D)            (None, 3, 3, 64)          36928     \n",
      "_________________________________________________________________\n",
      "flatten_1 (Flatten)          (None, 576)               0         \n",
      "_________________________________________________________________\n",
      "dense_1 (Dense)              (None, 64)                36928     \n",
      "_________________________________________________________________\n",
      "dense_2 (Dense)              (None, 10)                650       \n",
      "=================================================================\n",
      "Total params: 93,322\n",
      "Trainable params: 93,322\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "여기에서 볼 수 있듯이 `(3, 3, 64)` 출력이 `(576,)` → $3 \\times 3 \\times 64 = 576$ 크기의 벡터로 펼쳐진 후 Dense 층으로 주입되었습니다.\n",
    "\n",
    "이제 MNIST 숫자 이미지에 이 컨브넷을 훈련합니다. 2장의 MNIST 예제 코드를 많이 재사용하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "train_images.shape : (60000, 28, 28, 1)\n",
      "train_labels.shape : (60000,)\n",
      "test_images.shape : (10000, 28, 28, 1)\n",
      "test_labels.shape : (10000,)\n"
     ]
    }
   ],
   "source": [
    "from keras.datasets import mnist\n",
    "\n",
    "(train_images, train_labels), (test_images, test_labels) = mnist.load_data()\n",
    "\n",
    "train_images = train_images.reshape([-1, 28, 28, 1])\n",
    "train_images = train_images.astype('float32') / 255\n",
    "\n",
    "test_images = test_images.reshape([-1, 28, 28, 1])\n",
    "test_images = test_images.astype('float32') / 255\n",
    "\n",
    "print('train_images.shape :', train_images.shape)\n",
    "print('train_labels.shape :', train_labels.shape)\n",
    "print('test_images.shape :', test_images.shape)\n",
    "print('test_labels.shape :', test_labels.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/5\n",
      "60000/60000 [==============================] - 6s 101us/step - loss: 0.1804 - acc: 0.9443\n",
      "Epoch 2/5\n",
      "60000/60000 [==============================] - 3s 54us/step - loss: 0.0499 - acc: 0.9846\n",
      "Epoch 3/5\n",
      "60000/60000 [==============================] - 3s 53us/step - loss: 0.0353 - acc: 0.9890\n",
      "Epoch 4/5\n",
      "60000/60000 [==============================] - 3s 53us/step - loss: 0.0259 - acc: 0.9921\n",
      "Epoch 5/5\n",
      "60000/60000 [==============================] - 3s 52us/step - loss: 0.0208 - acc: 0.9939\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f05d39d2dd8>"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.compile(optimizer='rmsprop', \n",
    "              loss='sparse_categorical_crossentropy', \n",
    "              metrics=['accuracy'])\n",
    "model.fit(train_images, train_labels, epochs=5, batch_size=64)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "테스트 데이터에서 모델을 평가해 보죠:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "10000/10000 [==============================] - 0s 40us/step\n"
     ]
    }
   ],
   "source": [
    "test_loss, test_acc = model.evaluate(test_images, test_labels)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.9915"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_acc"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 부록: TensorFlow로 CNN 구현하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import sys\n",
    "import numpy as np\n",
    "import tensorflow as tf\n",
    "\n",
    "# mini-batch function\n",
    "def shuffle_batch(features, labels, batch_size):\n",
    "    rnd_idx = np.random.permutation(len(features))\n",
    "    n_batches = len(features) // batch_size\n",
    "    for batch_idx in np.array_split(rnd_idx, n_batches):\n",
    "        batch_images, batch_labels = features[batch_idx], labels[batch_idx]\n",
    "        yield batch_images, batch_labels"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "# reset graph\n",
    "tf.reset_default_graph()\n",
    "\n",
    "# placeholder\n",
    "inputs = tf.placeholder(tf.float32, shape=[None, 28, 28, 1])  # [samples, height, width, channels]\n",
    "labels = tf.placeholder(tf.int32, shape=(None, ))\n",
    "\n",
    "# Conv Net\n",
    "conv1 = tf.layers.conv2d(inputs=inputs, filters=32, \n",
    "                         kernel_size=[3, 3], activation=tf.nn.relu)\n",
    "max_pooling2d_1 = tf.layers.max_pooling2d(inputs=conv1, pool_size=[2, 2], strides=2)\n",
    "conv2 = tf.layers.conv2d(max_pooling2d_1, 64, [3, 3], activation=tf.nn.relu)\n",
    "max_pooling2d_2 = tf.layers.max_pooling2d(conv2, [2, 2], 2)\n",
    "conv3 = tf.layers.conv2d(max_pooling2d_2, 64, [3, 3], activation=tf.nn.relu)\n",
    "\n",
    "# Dense\n",
    "conv3_flat = tf.layers.flatten(conv3)\n",
    "dense1 = tf.layers.dense(conv3_flat, 64, activation=tf.nn.relu)\n",
    "logits = tf.layers.dense(dense1, 10, activation=None)\n",
    "\n",
    "# loss\n",
    "cross_entropy = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)\n",
    "loss = tf.reduce_mean(cross_entropy)\n",
    "# optimizer\n",
    "train_op = tf.train.RMSPropOptimizer(0.001).minimize(loss)\n",
    "\n",
    "# metrics\n",
    "correct = tf.nn.in_top_k(predictions=logits, targets=labels, k=1)\n",
    "accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch: 1 - train_loss: 0.0217 - train_acc: 1.0000\n",
      "epoch: 2 - train_loss: 0.0044 - train_acc: 1.0000\n",
      "epoch: 3 - train_loss: 0.0011 - train_acc: 1.0000\n",
      "epoch: 4 - train_loss: 0.0005 - train_acc: 1.0000\n",
      "epoch: 5 - train_loss: 0.0002 - train_acc: 1.0000\n",
      "test_loss: 0.0309 - test_acc: 0.9902\n"
     ]
    }
   ],
   "source": [
    "# Train\n",
    "n_epochs = 5\n",
    "batch_size = 64\n",
    "\n",
    "with tf.Session() as sess:\n",
    "    tf.global_variables_initializer().run()\n",
    "    n_batches = len(train_images) // batch_size\n",
    "    for epoch in range(n_epochs):\n",
    "        for iteration in range(n_batches):\n",
    "            print(\"\\r{}%\".format(100 * iteration // n_batches), end=\"\")\n",
    "            sys.stdout.flush()\n",
    "            batch_images, batch_labels = next(shuffle_batch(train_images, train_labels, batch_size))\n",
    "            sess.run(train_op, feed_dict={inputs: batch_images,\n",
    "                                          labels: batch_labels})\n",
    "        train_loss, train_acc = sess.run([loss, accuracy],\n",
    "                                         feed_dict={inputs: batch_images, labels: batch_labels})\n",
    "        print('\\repoch: {} - train_loss: {:.4f} - train_acc: {:.4f}'.format(epoch+1,\n",
    "                                                                            train_loss,\n",
    "                                                                            train_acc))\n",
    "    # eval\n",
    "    test_loss, test_acc = sess.run([loss, accuracy],\n",
    "                                   feed_dict={inputs: test_images, labels: test_labels})\n",
    "    print('test_loss: {:.4f} - test_acc: {:.4f}'.format(test_loss, test_acc))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "tensorflow",
   "language": "python",
   "name": "tensorflow"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}