Informe-TP-EDD-Black_Mesa_Devs.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "4vzOkTwRYIb9"
   },
   "source": [
    "## <center>Estructuras de Datos</center>\n",
    "## <center>Informe del Trabajo Práctico</center>\n",
    "## <center>Universidad Nacional de Tres de Febrero</center>\n",
    "## <center>Black Mesa Devs</center>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "T9lRQOiSTqNX"
   },
   "source": [
    "<b>Decisiones de diseño</b><br>\n",
    "Para acatar las consignas de este trabajo práctico, elegimos trabajar sobre sitios de ventas de videojuegos en formato digital. Particularmente <a href=\"https://store.steampowered.com/games/?l=latam\">Steam</a>, <a href=\"https://www.gog.com/\">GOG</a>, <a href=\"https://us.gamesplanet.com/\">Games Planet</a> y <a href=\"https://www.nuuvem.com/\">Nuuvem</a>. Otros sitios, como por ejemplo <a href=\"hhttps://www.humblebundle.com/\">Humble Bundle</a>, fueron omitidos por cuestiones de robots.txt.\n",
    "\n",
    "\n",
    "<br>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<b style=\"font-size:30px\">·</b>Como cada sitio estructura sus páginas de manera particular, recurrimos a crear una spider específica para cada sitio, para poder lidiar mejor con estas diferencias estructurales. Debido a que no se leería bien en la notebook, dejamos el diagrama de clase adjunto dentro del zip del TP.</p>\n",
    "<b style=\"font-size:30px\">·</b> Decidimos hacer una aplicación web para poder tener una mejor interfaz para presentar los resultados que hagamos con Scrapy. íbamos a usar Flask pero por temas de compatibilidad con Scrapy fuimos por Klein.\n",
    "<br><b style=\"font-size:30px\">·</b>Se decidió no usar Selenium ya que al trabajar con API Rest, Selenium nos ralentizan el tiempo de respuesta de los requests por su manera en que trabaja con un Browser levantado.<br>\n",
    "<b style=\"font-size:30px\">·</b>Utilizamos React ya que nos pareció la más sencilla de aplicar, y entender para los miembros del grupo que no tenían experiencia en Desarrollo Web.<br>\n",
    "<b style=\"font-size:30px\">·</b> \n",
    "Agregamos filtros de sitio y rango de precios, que nos pareció más compatible que los opcionales propuestos con el modelo de aplicación que estábamos usando. \n",
    "<br>\n",
    "<b style=\"font-size:30px\">·</b>Decidimos exportar los informes como JSON y PDF que nos parecieron más adecuados  para este tipo de archivos.\n",
    "<br>\n",
    "<b style=\"font-size:30px\">·</b> \n",
    "Se agregó un filtro de las páginas que se realizan las búsquedas, para mejorar la precisión del usuario final que la utiliza.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<b>Análisis de sitios:</b><br>\n",
    "GOG: Este sitio carga los datos de la búsqueda con javascript, por lo que tuvimos que buscar en las requests la dirección de un json que nos otorgaba todos los datos pertinentes.\n",
    "\n",
    "Games Planet: Este sitio carga de manera estática y las categorías aparecen en la información del producto, pero a diferencia del resto, la búsqueda se mostraba en paginaciones.\n",
    "\n",
    "Nuuvem: Este sitio carga de manera estática y las categorías aparecen en la información del producto como metadata.Trae los resultados divididos en paginas, asi que tuvimos que revisar varias páginas.\n",
    "\n",
    "Steam:  Este sitio carga de manera estática y las categorías aparecen en el detalle del producto, por lo tanto tuvimos que ingresar en cada página para poder obtener el dato, además tuvimos que definir una cookie para evitar la comprobación de edad que tiene Steam. Luego por temas de políticas de steam en cuanto a precios regionales, no pudimos obtener el precio en dolares, para que quede normalizado con el resto, convertimos a pesos, dividiéndolo por el dólar oficial.\n",
    "También Steam utiliza un scroll infinito, pero a partir de los 50 elementos, esos los omitimos ya que la mayoría no son relevantes con las búsquedas y utilizan APIs con autentificación que no podemos acceder."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<b>Para ejecutar el Spider nuestro podemos utilizar esto en la terminal:</b><br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "256"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import os\n",
    "#Para ejecutar esto bien, tener instalado Scrapy\n",
    "os.system('scrapy crawl nuuvem -a query=\"metro\" -a modo=\"algunas_palabras\"  -a url_search=\"https://www.nuuvem.com/catalog/page/[PAGE]/search/[QUERY]\" -o resultados.json')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[\r\n",
      "{\"title\": \"Metro Exodus\", \"price\": 17.51, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/412020/Metro_Exodus/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"DiRT Rally 2.0 - MG Metro 6R4 Rallycross\", \"price\": 0.32, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/1005030/DiRT_Rally_20__MG_Metro_6R4_Rallycross/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Marvel vs. Capcom: Infinite - Haggar Metro City Mayor Costume\", \"price\": 0.92, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/721146/Marvel_vs_Capcom_Infinite__Haggar_Metro_City_Mayor_Costume/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Cities in Motion 2: Metro Madness\", \"price\": 0.79, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/225426/Cities_in_Motion_2_Metro_Madness/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"TS Marketplace: Metro-North Scenario Pack 01\", \"price\": 1.52, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/1230272/TS_Marketplace_MetroNorth_Scenario_Pack_01/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Cities in Motion: Metro Stations\", \"price\": 0.47, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/73183/Cities_in_Motion_Metro_Stations/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Simulator 2020 - 'Oka' Paintings Pack\", \"price\": 0.22, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/1443770/Metro_Simulator_2020__Oka_Paintings_Pack/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Explosion Simulator\", \"price\": 0.16, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/1098870/Metro_Explosion_Simulator/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Warp\", \"price\": 0.79, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/383540/Metro_Warp/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Trip Simulator\", \"price\": 0.16, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/1058110/Metro_Trip_Simulator/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Train Simulator: Metro-North P32 AC-DM 'Genesis' Loco Add-On\", \"price\": 2.63, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/258655/Train_Simulator_MetroNorth_P32_ACDM_Genesis_Loco_AddOn/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Train Simulator: Metro-North Kawasaki M8 EMU Add-On\", \"price\": 2.63, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/258647/Train_Simulator_MetroNorth_Kawasaki_M8_EMU_AddOn/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Train Simulator: Metro North M2 EMU Add-On\", \"price\": 2.63, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/1147153/Train_Simulator_Metro_North_M2_EMU_AddOn/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Franchise Bundle\", \"price\": 28.28, \"provider\": \"steam\", \"category\": \"Sin Categoria\", \"url\": \"https://store.steampowered.com/bundle/13326/Metro_Franchise_Bundle/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Sim Hustle\", \"price\": 2.63, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/882250/Metro_Sim_Hustle/?snr=1_7_7_151_150_1\"},\r\n",
      "{\"title\": \"Metro Simulator 2020\", \"price\": 0.35, \"provider\": \"steam\", \"category\": \"\", \"url\": \"https://store.steampowered.com/app/994890/Metro_Simulator_2020/?snr=1_7_7_151_150_1\"}[\r\n",
      "{\"title\": \"Metro Redux\", \"price\": 69.99, \"provider\": \"nuuvem\", \"category\": \"Acci\\u00f3n\", \"url\": \"https://www.nuuvem.com/bundle/metro-redux\"},\r\n",
      "{\"title\": \"The Metronomicon\", \"price\": 36.99, \"provider\": \"nuuvem\", \"category\": \"RPG\", \"url\": \"https://www.nuuvem.com/item/13542-metronomicon\"},\r\n",
      "{\"title\": \"The Metronomicon - The End Records Challenge Pack\", \"price\": 4.99, \"provider\": \"nuuvem\", \"category\": \"RPG\", \"url\": \"https://www.nuuvem.com/item/13618-metronomicon-end-records-challenge-pack\"},\r\n",
      "{\"title\": \"Cities in Motion 2: Metro Madness\", \"price\": 8.99, \"provider\": \"nuuvem\", \"category\": \"Simulaci\\u00f3n\", \"url\": \"https://www.nuuvem.com/item/cities-in-motion-2-metro-madness\"}\r\n",
      "]"
     ]
    }
   ],
   "source": [
    "cat resultados.json"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para levantar la API, se deben primero instalar las dependencias con ```pip install -r requirements.txt``` \n",
    "Y luego se podra acceder a ella en http://localhost:8080/search/[MODO]/[ORDEN]/[QUERY]\n",
    "\n",
    "(Ver el README para mas detalle)\n",
    "\n",
    "y Para ejecutar el FRONT pueden hacer para instalar las depedencias ```npm install``` y para levantar el entorno local utilizar ```npm run dev``` y podran acceder en http://localhost:3000\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "Clase_6.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}