v2.3.4

Author: fortinux

BigData-es001.ipynb

@@ -181,46 +181,46 @@
    },
    "source": [
     "- Tecnología de gestión de clústeres en Hadoop de segunda generación.\n",
-    "- La idea de YARN es dividir las funcionalidades de gestión de recursos y programación/supervisión de trabajos en demonios separados: un ResourceManager (RM) global y un ApplicationMaster (AM) por aplicación.\n",
+    "- La idea de YARN es dividir las funcionalidades de gestión de recursos y programación/supervisión de trabajos en demonios separados: un *ResourceManager (RM)* global y un *ApplicationMaster (AM)* por aplicación.\n",
     "- Una aplicación es un solo trabajo o un DAG de trabajos.\n",
-    "- El ResourceManager y el NodeManager forman el framework de cálculo de datos. "
+    "- El *ResourceManager* y el *NodeManager* forman el framework de cálculo de datos. "
    ]
   },
   {
    "cell_type": "markdown",
-   "id": "81955e2c",
+   "id": "e3337ce9",
    "metadata": {
     "slideshow": {
-     "slide_type": "fragment"
+     "slide_type": "slide"
     }
    },
    "source": [
-    "- Fuente: <https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html>"
+    "- El *ResourceManager* arbitra los recursos entre todas las aplicaciones del sistema.\n",
+    "- El *NodeManager* es el agente del framework por máquina que es responsable de los contenedores, monitorea el uso de sus recursos (CPU, memoria, disco, red) e informa al *ResourceManager / Scheduler*. "
    ]
   },
   {
    "cell_type": "markdown",
-   "id": "e3337ce9",
+   "id": "e70c52c4",
    "metadata": {
     "slideshow": {
      "slide_type": "slide"
     }
    },
    "source": [
-    "- El ResourceManager arbitra los recursos entre todas las aplicaciones del sistema.\n",
-    "- El NodeManager es el agente del framework por máquina que es responsable de los contenedores, monitorea el uso de sus recursos (cpu, memoria, disco, red) e informa al ResourceManager / Scheduler. "
+    "- La aplicación *ApplicationMaster* es en efecto una biblioteca específica del framework y tiene la tarea de negociar recursos del *ResourceManager* y trabajar con los *NodeManagers* para ejecutar y monitorear las tareas."
    ]
   },
   {
    "cell_type": "markdown",
-   "id": "e70c52c4",
+   "id": "81955e2c",
    "metadata": {
     "slideshow": {
-     "slide_type": "slide"
+     "slide_type": "fragment"
     }
    },
    "source": [
-    "- La aplicación ApplicationMaster es en efecto una biblioteca específica del framework y tiene la tarea de negociar recursos del ResourceManager y trabajar con los NodeManager(s) para ejecutar y monitorear las tareas."
+    "- Fuente: <https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html>"
    ]
   },
   {
@@ -264,7 +264,7 @@
     }
    },
    "source": [
-    "- Consta de un único ResourceManager maestro, un NodeManager trabajador por nodo de clúster y MRAppMaster por aplicación.\n",
+    "- Consta de un único *ResourceManager* maestro, un *NodeManager* trabajador por nodo de clúster y *MRAppMaster* por aplicación.\n",
     "- Las aplicaciones especifican las ubicaciones de entrada/salida y el mapa de suministro y reducen las funciones a través de implementaciones de interfaces apropiadas y/o clases abstractas.\n",
     "- Estos y otros parámetros del trabajo comprenden la configuración del trabajo."
    ]
@@ -278,7 +278,7 @@
     }
    },
    "source": [
-    "- El cliente de trabajo de Hadoop luego envía el trabajo (jar/ejecutable, etc.) y la configuración al ResourceManager, que entonces asume la responsabilidad de distribuir el software/configuración a los trabajadores, programar tareas y monitorearlas, proporcionando estado e información de diagnóstico al trabajo-cliente."
+    "- El cliente de trabajo de Hadoop luego envía el trabajo (jar/ejecutable, etc.) y la configuración al *ResourceManager*, que entonces asume la responsabilidad de distribuir el software/configuración a los trabajadores, programar tareas y monitorearlas, proporcionando estado e información de diagnóstico al trabajo-cliente."
    ]
   },
   {
@@ -290,9 +290,9 @@
     }
    },
    "source": [
-    "- Las aplicaciones de MapReduce no necesitan estar escritas en Java.\n",
-    "- Hadoop Streaming es una utilidad que permite a los usuarios crear y ejecutar trabajos con cualquier ejecutable (por ejemplo, utilidades de shell) como mapeador y/o reductor.\n",
-    "- Hadoop Pipes es una API C++ compatible con SWIG para implementar aplicaciones MapReduce (no basadas en JNI™)."
+    "- Las aplicaciones de *MapReduce* no necesitan estar escritas en Java.\n",
+    "- Hadoop *Streaming* es una utilidad que permite a los usuarios crear y ejecutar trabajos con cualquier ejecutable (por ejemplo, utilidades de shell) como mapeador y/o reductor.\n",
+    "- Hadoop *Pipes* es una API C++ compatible con SWIG para implementar aplicaciones *MapReduce* (no basadas en JNI™)."
    ]
   },
   {
@@ -305,7 +305,7 @@
    },
    "source": [
     "- Entradas y salidas:\n",
-    "- El framework MapReduce opera exclusivamente en pares <clave, valor>, es decir, el framework ve la entrada del trabajo como un conjunto de pares <clave, valor> y produce un conjunto de pares <clave, valor> como la salida de el trabajo, posiblemente de diferentes tipos."
+    "- El framework *MapReduce* opera exclusivamente en pares <clave, valor>, es decir, el framework ve la entrada del trabajo como un conjunto de pares <clave, valor> y produce un conjunto de pares <clave, valor> como la salida de el trabajo, posiblemente de diferentes tipos."
    ]
   },
   {
@@ -567,6 +567,18 @@
     "    - Extraído de: <https://spark.apache.org/>."
    ]
   },
+  {
+   "cell_type": "markdown",
+   "id": "ffd99109-653e-4ca9-8a92-f8f1b4241df4",
+   "metadata": {},
+   "source": [
+    "- Sus funcionalidades básicas son:\n",
+    "    - Procesamiento de datos en *batch/streaming* utilizando Python, SQL, Scala, Java o R.\n",
+    "    - Analíticas mediante SQL ejecutando consultas para *dashboards* e informes más rápidas que la mayoría de los *data warehouses*.\n",
+    "    - Ciencia de datos en escala realizando *Exploratory Data Analysis - EDA* con petabytes de datos.\n",
+    "    - *Machine Learning* para entrenar algoritmos en un ordenador portátil usando el mismo código que luego se utilizará en clústeres de miles de máquinas."
+   ]
+  },
   {
    "cell_type": "markdown",
    "id": "41e63a7c",
@@ -576,7 +588,11 @@
     }
    },
    "source": [
-    "- También es compatible con un amplio conjunto de herramientas de alto nivel, que incluyen Spark SQL para SQL y procesamiento de datos estructurados, MLlib para aprendizaje automático, GraphX para procesamiento de gráficos y transmisión estructurada para procesamiento incremental y de streaming."
+    "- También es compatible con un amplio conjunto de herramientas de alto nivel, que incluyen:\n",
+    "    - Spark SQL para SQL y procesamiento de datos estructurados, \n",
+    "    - MLlib para aprendizaje automático, \n",
+    "    - GraphX para procesamiento de gráficos, y \n",
+    "    - Transmisión estructurada para procesamiento incremental y de streaming."
    ]
   },
   {
@@ -932,39 +948,6 @@
     "- Las topologías y los componentes de procesamiento de Storm se pueden definir en cualquier idioma, lo que hace que Storm sea accesible para casi cualquier persona."
    ]
   },
-  {
-   "cell_type": "markdown",
-   "id": "f14c26e0",
-   "metadata": {
-    "slideshow": {
-     "slide_type": "slide"
-    }
-   },
-   "source": [
-    "## Storm vs. Spark"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "0f90c48b",
-   "metadata": {
-    "slideshow": {
-     "slide_type": "slide"
-    }
-   },
-   "source": [
-    "| Situación | Spark | Storm |\n",
-    "|------- | ---------------- | -------- | \t\t\t\n",
-    "| Stream processing | Batch processing | Micro-batch processing |\n",
-    "| Latency | Latency of a few seconds | Latency of milliseconds |\n",
-    "| Multi-language support | Lesser language support | Multiple language support |\n",
-    "| Languages | Java – Scala | Java – Scala – Clojure |\n",
-    "| Stream sources | HDFS | Spout |\n",
-    "| Resource management | Yarn, Mesos | Yarn, Mesos |\n",
-    "| Provisioning | Basic using Ganglia | Apache Ambari |\n",
-    "| Messaging | Netty, Akka | ZeroMQ, Netty |"
-   ]
-  },
   {
    "cell_type": "markdown",
    "id": "d8754350",
@@ -1013,7 +996,7 @@
    },
    "source": [
     "- Alto rendimiento: \n",
-    "    - Entregue mensajes con un rendimiento limitado de la red utilizando un grupo de máquinas (cluster) con una latencia de tan solo 2 ms."
+    "    - Entrega mensajes con un rendimiento limitado de la red utilizando un grupo de máquinas (cluster) con una latencia de tan solo 2 ms."
    ]
   },
   {
@@ -1025,7 +1008,7 @@
     }
    },
    "source": [
-    "- Escalable\n",
+    "- Escalable:\n",
     "     - Es posible escalar clústeres de producción con hasta mil brokers, billones de mensajes por día, petabytes de datos, cientos de miles de particiones.\n",
     "     - También expandir y contraer elásticamente el almacenamiento y procesamiento."
    ]
@@ -1039,8 +1022,8 @@
     }
    },
    "source": [
-    "- Almacenamiento permanente\n",
-    "     - Almacene flujos de datos de forma segura en un clúster distribuido, duradero y tolerante a fallas."
+    "- Almacenamiento permanente:\n",
+    "     - Almacena flujos de datos de forma segura en un clúster distribuido, duradero y tolerante a fallas."
    ]
   },
   {
@@ -1052,8 +1035,8 @@
     }
    },
    "source": [
-    "- Alta disponibilidad\n",
-    "     - Estire los clústeres de manera eficiente sobre las zonas de disponibilidad o conecte clústeres separados en regiones geográficas."
+    "- Alta disponibilidad:\n",
+    "     - Extiende los clústeres de manera eficiente sobre las zonas de disponibilidad o los conecta separados en regiones geográficas."
    ]
   },
   {
@@ -1065,8 +1048,8 @@
     }
    },
    "source": [
-    "- Procesamiento de flujo incorporado\n",
-    "     - Procese secuencias de eventos con uniones, agregaciones, filtros, transformaciones y más, utilizando el procesamiento solo una vez con el tiempo de evento."
+    "- Procesamiento de flujo incorporado:\n",
+    "     - Procesa secuencias de eventos con uniones, agregaciones, filtros, transformaciones y más, utilizando el procesamiento solo una vez con el tiempo de evento."
    ]
   },
   {
@@ -1078,7 +1061,7 @@
     }
    },
    "source": [
-    "- Conéctese a casi cualquier cosa\n",
+    "- Conexión a múltiples fuentes:\n",
     "     - La interfaz *Connect* lista para usar de Kafka se integra con cientos de orígenes de eventos y receptores de eventos, incluidos PostgreSQL, JMS, Elasticsearch, AWS S3 y más."
    ]
   },
@@ -1091,7 +1074,7 @@
     }
    },
    "source": [
-    "- Bibliotecas de clientes\n",
+    "- Bibliotecas de clientes:\n",
     "     - Posibilidad de Leer, escribir y procesar flujos de eventos en una amplia gama de lenguajes de programación."
    ]
   },
@@ -1104,7 +1087,7 @@
     }
    },
    "source": [
-    "- Herramientas de código abierto para grandes ecosistemas\n",
+    "- Herramientas de código abierto para grandes ecosistemas:\n",
     "     - Gran ecosistema de herramientas de código abierto: existe una amplia gama de herramientas impulsadas por la comunidad."
    ]
   },