From bad3b5135a5c667b6dc02dafd9681407262fc7de Mon Sep 17 00:00:00 2001 From: martindaniel4 Date: Sun, 26 Apr 2015 19:00:14 +0200 Subject: [PATCH] add pandas big query --- ...Google BigQuery et Pandas-checkpoint.ipynb | 34 ++++++++++ ... Data avec Google BigQuery et Pandas.ipynb | 66 +++++++++++++++++++ 2 files changed, 100 insertions(+) create mode 100644 s5/.ipynb_checkpoints/Big Data avec Google BigQuery et Pandas-checkpoint.ipynb create mode 100644 s5/Big Data avec Google BigQuery et Pandas.ipynb diff --git a/s5/.ipynb_checkpoints/Big Data avec Google BigQuery et Pandas-checkpoint.ipynb b/s5/.ipynb_checkpoints/Big Data avec Google BigQuery et Pandas-checkpoint.ipynb new file mode 100644 index 0000000..35299a9 --- /dev/null +++ b/s5/.ipynb_checkpoints/Big Data avec Google BigQuery et Pandas-checkpoint.ipynb @@ -0,0 +1,34 @@ +{ + "metadata": { + "name": "", + "signature": "sha256:85f04e8d4e55057b22e16c88ed53cba1f2feee144dab0aa632966bd81873c312" + }, + "nbformat": 3, + "nbformat_minor": 0, + "worksheets": [ + { + "cells": [ + { + "cell_type": "heading", + "level": 1, + "metadata": {}, + "source": [ + "Analyse Big Data avec Google BigQuery et Pandas" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Lorsqu'un set de donn\u00e9es devient trop important pour un traitement sur votre machine (g\u00e9n\u00e9ralement au dessus de quelques Gigaoctets), il vous faut d\u00e9porter vos calculs dans un Cloud. \n", + "\n", + "La plateforme BigQuery s'appuie sur l'infrastructure de Google. Elle vous permet de stocker et de requ\u00eater des sets de donn\u00e9es sans limite de taille. \n", + "\n", + "Dans cet exercice, vous allez voir comment Pandas et BigQuery s'int\u00e8grent pour r\u00e9aliser des traitements de donn\u00e9es dans le cloud sur des bases de donn\u00e9es volumineuses. " + ] + } + ], + "metadata": {} + } + ] +} \ No newline at end of file diff --git a/s5/Big Data avec Google BigQuery et Pandas.ipynb b/s5/Big Data avec Google BigQuery et Pandas.ipynb new file mode 100644 index 0000000..6e240be --- /dev/null +++ b/s5/Big Data avec Google BigQuery et Pandas.ipynb @@ -0,0 +1,66 @@ +{ + "metadata": { + "name": "", + "signature": "sha256:ae54e720d4ef1b91d3093c1180f7204d2358a6e30c46f8e50c3e3e006725e69b" + }, + "nbformat": 3, + "nbformat_minor": 0, + "worksheets": [ + { + "cells": [ + { + "cell_type": "heading", + "level": 1, + "metadata": {}, + "source": [ + "Analyse Big Data avec Google BigQuery et Pandas" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Lorsqu'un set de donn\u00e9es devient trop important pour un traitement sur votre machine (g\u00e9n\u00e9ralement au dessus de quelques Gigaoctets), il vous faut d\u00e9porter vos calculs dans des infrastructures Cloud. \n", + "\n", + "La plateforme BigQuery s'appuie sur l'infrastructure de Google. Elle vous permet de stocker et de requ\u00eater des sets de donn\u00e9es sans limite de taille. \n", + "\n", + "Dans cet partie, vous allez voir comment Pandas et BigQuery s'int\u00e8grent pour traiter dans le cloud, des bases de donn\u00e9es volumineuses. " + ] + }, + { + "cell_type": "heading", + "level": 1, + "metadata": {}, + "source": [ + "BigQuery" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Rendez vous sur l'interface - https://bigquery.cloud.google.com/ et cr\u00e9ez un projet. \n", + "\n", + "Vous devrez renseigner vos coordonn\u00e9es bancaires pour pouvoir activer votre compte. Vous b\u00e9n\u00e9ficiez par d\u00e9faut d'une premi\u00e8re p\u00e9riode de test. " + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Les projets auxquels vous avez acc\u00e8s sont affich\u00e9s sur la gauche. Au sein de chaque projet vous retrouvez un ou plusieurs set de donn\u00e9es. " + ] + }, + { + "cell_type": "code", + "collapsed": false, + "input": [], + "language": "python", + "metadata": {}, + "outputs": [] + } + ], + "metadata": {} + } + ] +} \ No newline at end of file