Skip to content
This repository has been archived by the owner on Jun 3, 2021. It is now read-only.

Commit

Permalink
add pandas big query
Browse files Browse the repository at this point in the history
  • Loading branch information
martindaniel4 committed Apr 26, 2015
1 parent 793ed25 commit bad3b51
Show file tree
Hide file tree
Showing 2 changed files with 100 additions and 0 deletions.
Original file line number Diff line number Diff line change
@@ -0,0 +1,34 @@
{
"metadata": {
"name": "",
"signature": "sha256:85f04e8d4e55057b22e16c88ed53cba1f2feee144dab0aa632966bd81873c312"
},
"nbformat": 3,
"nbformat_minor": 0,
"worksheets": [
{
"cells": [
{
"cell_type": "heading",
"level": 1,
"metadata": {},
"source": [
"Analyse Big Data avec Google BigQuery et Pandas"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Lorsqu'un set de donn\u00e9es devient trop important pour un traitement sur votre machine (g\u00e9n\u00e9ralement au dessus de quelques Gigaoctets), il vous faut d\u00e9porter vos calculs dans un Cloud. \n",
"\n",
"La plateforme BigQuery s'appuie sur l'infrastructure de Google. Elle vous permet de stocker et de requ\u00eater des sets de donn\u00e9es sans limite de taille. \n",
"\n",
"Dans cet exercice, vous allez voir comment Pandas et BigQuery s'int\u00e8grent pour r\u00e9aliser des traitements de donn\u00e9es dans le cloud sur des bases de donn\u00e9es volumineuses. "
]
}
],
"metadata": {}
}
]
}
66 changes: 66 additions & 0 deletions s5/Big Data avec Google BigQuery et Pandas.ipynb
Original file line number Diff line number Diff line change
@@ -0,0 +1,66 @@
{
"metadata": {
"name": "",
"signature": "sha256:ae54e720d4ef1b91d3093c1180f7204d2358a6e30c46f8e50c3e3e006725e69b"
},
"nbformat": 3,
"nbformat_minor": 0,
"worksheets": [
{
"cells": [
{
"cell_type": "heading",
"level": 1,
"metadata": {},
"source": [
"Analyse Big Data avec Google BigQuery et Pandas"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Lorsqu'un set de donn\u00e9es devient trop important pour un traitement sur votre machine (g\u00e9n\u00e9ralement au dessus de quelques Gigaoctets), il vous faut d\u00e9porter vos calculs dans des infrastructures Cloud. \n",
"\n",
"La plateforme BigQuery s'appuie sur l'infrastructure de Google. Elle vous permet de stocker et de requ\u00eater des sets de donn\u00e9es sans limite de taille. \n",
"\n",
"Dans cet partie, vous allez voir comment Pandas et BigQuery s'int\u00e8grent pour traiter dans le cloud, des bases de donn\u00e9es volumineuses. "
]
},
{
"cell_type": "heading",
"level": 1,
"metadata": {},
"source": [
"BigQuery"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Rendez vous sur l'interface - https://bigquery.cloud.google.com/ et cr\u00e9ez un projet. \n",
"\n",
"Vous devrez renseigner vos coordonn\u00e9es bancaires pour pouvoir activer votre compte. Vous b\u00e9n\u00e9ficiez par d\u00e9faut d'une premi\u00e8re p\u00e9riode de test. "
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Les projets auxquels vous avez acc\u00e8s sont affich\u00e9s sur la gauche. Au sein de chaque projet vous retrouvez un ou plusieurs set de donn\u00e9es. "
]
},
{
"cell_type": "code",
"collapsed": false,
"input": [],
"language": "python",
"metadata": {},
"outputs": []
}
],
"metadata": {}
}
]
}

0 comments on commit bad3b51

Please sign in to comment.