notes.tex

\documentclass{article}
\usepackage[utf8]{inputenc}
\usepackage{a4wide}
\usepackage{mathtools}
\usepackage{graphicx}
\usepackage{listings}

\title{BI-BIG - Databázové technologie pro BIG DATA 2016/17}
\author{Josef Dolezal}

\begin{document}

\tableofcontents

\newpage

\section{Úvod}
  \subsection{Základní principy}
  \begin{description}
    \item[Distribuovaný výpočetní výkon] Výpočet úlohy se rozdělí mezi více uzlů, je tedy možné paralelní zpracování.
    \item[Distribuované uložiště] Data se uchovávají na více místech - zajištění redundance, propustnosti a dostupnosti.
    Je ale složité zajistit konzistenci dat.
  \end{description}

  \subsection{CAP teorém}
    Eric Brewer přisuzuje distribuovaným systémům tři základní vlastnosti, přitom ale systém může splňovat nejvýše dvě:
    \begin{enumerate}
      \item Konzistence
        \begin{itemize}
          \item Pro každý požadavek vrácen správný výsledek.
          \item Uzly vrací stejná data (distrib. uložiště).
          \item Výsledky výpočtu se od jednotlivých uzlů neliší (distrib. výkon).
        \end{itemize}
      \item Dostupnost
        \begin{itemize}
          \item Na každý požadavek přijde odpověď.
          \item V praxi musí být systém vždy dostupný.
        \end{itemize}
      \item Tolerance výpadku
        \begin{itemize}
          \item Určuje jak se systém zachová v případě výpadku nějaké jeho části.
        \end{itemize}
    \end{enumerate}

\section{NoSQL databáze}
  \begin{itemize}
    \item Map-Reduce framework. Např. Hadoop.
    \item Kay-value uložiště. Např. Cassandra.
    \item Dokumentové uložiště (jako key-value, ale valuje je document). Např. CouchDB, MongoDB.
  \end{itemize}

  \subsection{Casssandra}
    \begin{itemize}
      \item Open source distribuovaná databáze.
      \item Ukládá data mezi mnoha servery
      \item Poskytuje vysokou dostupnost, nemá single point of failure.
      \item Vyniká v rychlém zápisu.
    \end{itemize}

    \subsubsection{Základní funkce}
      \begin{itemize}
        \item Replikace - systém se sám replikuje podle zadaných kritérií.
        \item Škálování - systém škáluje sám bez nutnosti zásahu do aplikace.
        \item Nastavitelná konzistence  - lze na stavit pro jednotlivé dotazy za běhu aplikace.
        \item Dotazovací jazyk CQL - \emph{Cassandra Query Language}
      \end{itemize}

      \begin{description}
        \item[Gossip protokol] Každý uzel posílá informace každou vteřinu, udržuje tím informace o stavu uzlů. Informace jsou opatřeny timestampem.
        \item[Koordinátor] Uzel, který \emph{Cassandra driver} vybere jako node, kterému posílá požadavky a dotazy.
        \item[Partition token] Identifikuje, unikátně každý uzel a na něm partition v celém ringu. Je generovavaný hashovací funkcí.
        \item[Partitioner] Určuje jakým způsobem jsou data a jejich repliky rozděleny na clusteru - (Fce. MurMur3, Random, ByteOrder).
      \end{description}

    \subsubsection{Pojmy}
      \begin{description}
        \item[Keyspace] Alternativa pojmu \emph{databáze} ze světa relačních databází.
      \end{description}

    \subsubsection{Cassandra data model}
      \begin{description}
        \item[Column] Sloupec je nejmenší entitou udržující data. Má název, hodnotu a timestamp vložení.
        \item[Row] Identifikována pomocí jednoznačného row-key, nemá pevný formát.
        \item[Column-family] Sdružuje řádkym které obsahují sloupce. Obdoba \emph{tabulky} z relačního světa. \emph{Mapa map}.
        \item[Keyspace] Udržuje pohromadě všechny column-family a replikační faktor. Dá se přirovnat k \emph{databázi} z relačního světa.
      \end{description}

      \begin{itemize}
        \item Wide-column stores - data přibývají do šířky.
        \item Na nejspodnější úrovni se jedná o key-value storage.
        \item Funguje na podobném principu jako hash table.
        \item Nepoužívá se join.
        \item Chceme li použít range scan, musíme mít row key a column key.
      \end{itemize}

    \subsection{CQL}
      \begin{itemize}
        \item Podobné SQL.
        \item Stále nelze použít \emph{JOIN}.
      \end{itemize}

      \subsubsection{Create table}
        \begin{lstlisting}[language=sql]
          CREATE TABLE orders (
            id int PRIMARY KEY,
            code text,
            buyer_id text,
            created_at text,
            payed_at text,
            buyer_ip text
           );
        \end{lstlisting}

      \subsubsection{Insert data}
        \begin{itemize}
          \item Neprovádí se kontrola existence řádku, jedná se tedy spíše o \emph{CREATE OR UPDATE}.
          \item Lze použít \emph{IF NOT EXISTS}, ale zápis je pomalejší.
        \end{itemize}

        \begin{lstlisting}[language=sql]
          INSERT INTO orders (code, buyer_id, created_at)
          VALUES ('AB1221', 1234, '2016-12-04');
        \end{lstlisting}

      \subsubsection{Update data}
        \begin{itemize}
          \item Pomocí \emph{WHERE} klauzule lze vybrat řádek, ale musí se zadat všechny sloupce tvořící PK.
        \end{itemize}

        \begin{lstlisting}[language=sql]
          UPDATE orders
          SET payed_at = '2017-01-01'
          WHERE id = 5;
        \end{lstlisting}

      \subsubsection{Delete data}
        \begin{itemize}
          \item Umožňuje odstranit jen vybrané sloupce.
        \end{itemize}

        \begin{lstlisting}[language=sql]
          DELETE FROM orders
          WHERE id = 5;
        \end{lstlisting}

      \subsubsection{Batch}
        \begin{itemize}
          \item Pomocí \emph{BATCH} lze seskupit více příkazů.
          \item Šetří síťovou komunikace mezi klientem a serverem.
          \item Může obsahovat pouse \emph{UPDATE}, \emph{INSERT}, \emph{DELETE}.
        \end{itemize}

      \subsection{Select data}
        \begin{itemize}
          \item Přečte jeden nebo více sloupců a řádků.
          \item Select klauzule
            \begin{itemize}
              \item Určuje jaké sloupce mají být vráceny (buď seznam nebo znak *).
            \end{itemize}
          \item Selector
            \begin{itemize}
              \item Název sloupce nebo funkce jednoho nebo více sloupců.
              \item Např \emph{COUNT(*)}.
            \end{itemize}
          \item V klauzuly \emph{WHERE} umožňuje výběr jen pokud jsou uvedeny všechny PK.
          \item Chceme-li v rámci \emph{WHERE} klauzule filtrovat na základě více sloupců, je potřeba dodat \emph{ALLOW\_FILTERING}.
        \end{itemize}

        \begin{lstlisting}[language=sql]
          SELECT id, buyer_id
          FROM orders
          WHERE id IN (5, 7, 15);
        \end{lstlisting}

\section{Hadoop, Map-Reduce}
  \begin{description}
    \item[MapReduce] Model pro distribuované paralelní výpočty. Data se rozdělí na jednotlivé elementy, které se po rozdělení navzájem neovlivní.
    Mapovací funkce převede vstupní elementy na výstupní elementy.
    Kombinační funkce následně výstupní elementy do výstupní hodnoty.
  \end{description}

  \subsection{Hadoop}
    Open source implementace MapReduce frameworku. Hadoop nabízí také svůj FS (HDFS) - to ale není plně distribuvaný FS. HDFS obsahuje master server, který obhospodařuje namespace.

\section{Apache Hive, Pig a Solr}
  \subsection{Apache Hive}
    Infrastruktura pro těžení dat, postaveno nad Hadoopem. Jedná se o vrstvu, ktrá poskytuje abstrakci pomocí pseudo SQL.

    \begin{itemize}
      \item Dotazovací jazyk Hivu je HiveQL.
      \item Nabízí podmnožinu SQL dotazů rozšířenou o specifické dotazy (obsahuje např. \emph{JOIN}, $FROM \, <DOTAZ>$).
      \item Neobsahuje standardní \emph{INSERT} do existující tabulky.
        \begin{itemize}
          \item Všechny inserty přepisují data.
          \item Chybí také \emph{UPDATE} a \emph{DELETE}.
        \end{itemize}
    \end{itemize}

  \subsection{Solr}
    \begin{itemize}
      \item Využívá Apachae Lucene.
        \begin{itemize}
          \item Knihovna pro získávání dat.
          \item Podporuje synonyma, podobnost, ...
        \end{itemize}
      \item Index nad databází.
      \item Poskytuje REST API.
      \item Distribuované vyhledávání.
    \end{itemize}

\end{document}