Utilizar o MLFlow para log de métricas e parâmetros

tasks/automl-classifier/Experiment.ipynb

@@ -371,7 +371,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -380,9 +380,7 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(confusion_matrix=confusion_matrix)"
+    "# Por enquanto não há como salvar a confusion matrix utilizando o mlflow.logmetric"
    ]
   },
   {

tasks/automl-regressor/Experiment.ipynb

@@ -51,6 +51,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Erro da Regressão\", \"Diferença do Erro\", \"Diferença Ordenada do Erro\", \"Erro Absoluto\", \"Probabilidade do Erro\", \"Erro de Segmentos\", \"Tabelas de Dados\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    ""
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -341,7 +355,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -350,9 +364,9 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(r2_score=r2, mae_score=mae, mse_score=mse)"
+    "mlflow.log_metric(\"r2_score\", r2)\n",
+    "mlflow.log_metric(\"mae_score\", mae)\n",
+    "mlflow.log_metric(\"mse_score\", mse)"
    ]
   },
   {

tasks/cv-ocr/Deployment.ipynb

@@ -138,12 +138,7 @@
     "            frame_with_text = np.array(img).astype(np.uint8)\n",
     "            result = frame_with_text\n",
     "        \n",
-    "        ### DEBUG ###\n",
-    "        logging.error('--- DBG ---')\n",
-    "        logging.error('result: %s', result)\n",
-    "        logging.error('type: %s', type(result))\n",
-    "        logging.error('--- DBG ---')\n",
-    "        #############\n",
+    "        \n",
     "        \n",
     "        return np.array(result)"
    ]

tasks/isolation-forest-clustering/Experiment.ipynb

@@ -51,6 +51,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Tabelas de Dados\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -303,7 +317,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -312,9 +326,7 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(anomaly_score=y_pred)"
+    "# Por enquanto não há como salvar uma array utilizando o mlflow.logmetric"
    ]
   },
   {

tasks/kmeans-clustering/Experiment.ipynb

@@ -50,6 +50,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Tabelas de Dados\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -288,7 +302,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas."
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -297,9 +311,9 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(silhouette_score=silhouette, calinski_score=calinski, davies_score=davies)"
+    "mlflow.log_metric(\"silhouette_score\", silhouette)\n",
+    "mlflow.log_metric(\"calinski_score\", calinski)\n",
+    "mlflow.log_metric(\"davies_score\", davies)"
    ]
   },
   {

tasks/linear-regression/Experiment.ipynb

@@ -49,6 +49,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Erro da Regressão\", \"Diferença do Erro\", \"Diferença Ordenada do Erro\", \"Erro Absoluto\", \"Probabilidade do Erro\", \"Erro de Segmentos\", \"Tabelas de Dados\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -325,7 +339,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -334,9 +348,10 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
     "\n",
-    "save_metrics(r2_score=r2, mae_score=mae, mse_score=mse)"
+    "mlflow.log_metric(\"r2_score\", r2)\n",
+    "mlflow.log_metric(\"mae_score\", mae)\n",
+    "mlflow.log_metric(\"mse_score\", mse)"
    ]
   },
   {
@@ -556,4 +571,4 @@
  },
  "nbformat": 4,
  "nbformat_minor": 4
-}
+}

tasks/logistic-regression/Experiment.ipynb

@@ -58,6 +58,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Matriz de Confusão\", \"Métricas Comuns\", \"Curva ROC\", \"Tabelas de Dados\", \"SHAP\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for the tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -366,7 +380,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -375,9 +389,7 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(confusion_matrix=confusion_matrix)"
+    "# Por enquanto não há como salvar a confusion matrix utilizando o mlflow.logmetric"
    ]
   },
   {
@@ -594,4 +606,4 @@
  },
  "nbformat": 4,
  "nbformat_minor": 4
-}
+}

tasks/mlp-classifier/Experiment.ipynb

@@ -64,6 +64,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Matriz de Confusão\", \"Métricas Comuns\", \"Curva ROC\", \"Tabelas de Dados\", \"SHAP\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -370,7 +384,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -379,9 +393,8 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
     "\n",
-    "save_metrics(confusion_matrix=confusion_matrix)"
+    "# Por enquanto não há como salvar a confusion matrix utilizando o mlflow.logmetric"
    ]
   },
   {

tasks/mlp-regressor/Experiment.ipynb

@@ -54,6 +54,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Erro da Regressão\", \"Diferença do Erro\", \"Diferença Ordenada do Erro\", \"Erro Absoluto\", \"Probabilidade do Erro\", \"Erro de Segmentos\", \"Tabelas de Dados\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -342,7 +356,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -351,9 +365,9 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(r2_score=r2, mae_score=mae, mse_score=mse)"
+    "mlflow.log_metric(\"r2_score\", r2)\n",
+    "mlflow.log_metric(\"mae_score\", mae)\n",
+    "mlflow.log_metric(\"mse_score\", mse)"
    ]
   },
   {
@@ -571,4 +585,4 @@
  },
  "nbformat": 4,
  "nbformat_minor": 4
-}
+}

tasks/random-forest-classifier/Experiment.ipynb

@@ -62,6 +62,20 @@
     "plots_ignore = [\"\"] #@param [\"Dados de Teste\", \"Matriz de Confusão\", \"Métricas Comuns\", \"Curva ROC\", \"Tabelas de Dados\", \"SHAP\"] {type:\"string\",multiple:true,label:\"Gráficos a serem ignorados\", description: \"Diversos gráficos são gerados ao executar o treinamento e validação do modelo, selecione quais não devem ser gerados.\"}"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# MLFlow is used for tracking of metrics, dependencies and artifacts\n",
+    "\n",
+    "import mlflow\n",
+    "\n",
+    "mlflow.start_run()\n",
+    "mlflow.sklearn.autolog()"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -368,7 +382,7 @@
    "source": [
     "## Salva métricas\n",
     "\n",
-    "Utiliza a função `save_metrics` do [SDK da PlatIAgro](https://platiagro.github.io/sdk/) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
+    "Utiliza a função `log_metric` do [SDK do MLflow](https://www.mlflow.org/docs/latest/tracking.html#performance-tracking-with-metrics) para salvar métricas. Por exemplo: `accuracy`, `precision`, `r2_score`, `custom_score` etc.<br>"
    ]
   },
   {
@@ -377,9 +391,7 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "from platiagro import save_metrics\n",
-    "\n",
-    "save_metrics(confusion_matrix=confusion_matrix)"
+    "# Por enquanto não há como salvar a confusion matrix utilizando o mlflow.logmetric"
    ]
   },
   {