El web scraping es un proceso utilizado para extraer contenido de un sitio web. Con este plugin, puedes extraer datos numéricos disponibles públicamente de sitios web y almacenarlos como una variable de Ubidots.
Nota: Algunos sitios web tienen políticas estrictas contra el scraping automatizado. Por favor, revisa las políticas del sitio web primero para asegurarte de que no estás violando ninguno de sus términos de uso. |
Requisitos
Una cuenta activa de Ubidots
1. Obtener las etiquetas del dispositivo y la variable
Crear este plugin requiere seis entradas, que incluyen tener tanto una etiqueta del dispositivo como una etiqueta de la variable que recibirá los datos generados por el plugin.
Para obtener la etiqueta del dispositivo, puedes crear un nuevo dispositivo o usar uno ya existente en tu cuenta.
Ingresa a tu dispositivo y copia la etiqueta del dispositivo, que, en nuestro caso, es “scraper”.
Luego, crea una nueva variable dentro del dispositivo que utilizarás y copia también su etiqueta. En nuestro caso, es “price-variable”.
2. Obtener la URL y el XPath de interés
Las siguientes dos entradas que necesitamos son las relacionadas con el valor que queremos extraer de un sitio web: la URL del sitio web que aloja el valor y el XPath de destino del valor numérico.
Para obtener estas entradas, solo ve a la página del sitio web que contiene el valor que deseas recuperar y:
Copia la URL de la página. En nuestro caso, estamos interesados en seguir el precio de las acciones de Amazon, así que copiamos este enlace:
Ahora, localiza el valor numérico que deseas rastrear en ese sitio web. Nosotros, por ejemplo, queremos rastrear este valor, el precio de la acción:
Para obtener el XPath, haz clic derecho en el valor e inspecciónalo. Una vez que se abran las herramientas de desarrollo, ve al elemento que corresponde al valor numérico, que debería estar resaltado, y haz clic derecho sobre él → ve a copiar → copiar XPath. En nuestro ejemplo, el XPath es “//*[@id="quote-header-info"]/div[3]/div[1]/div[1]/fin-streamer[1]”.
3. Crear un plugin de Web Scraper
Teniendo estas cuatro entradas, ahora podemos ir a nuestra cuenta de Ubidots → Dispositivos → Plugins.
Allí, crea un nuevo plugin de Web Scraper y llena los campos de entrada con la información que recopilamos en los pasos anteriores.
Para las dos últimas entradas, elige el token que deseas usar y el tiempo de ejecución del plugin.
Después de un paso final donde puedes elegir un nombre y una descripción para tu plugin, tu variable debería comenzar a recibir datos a la tasa de tiempo que seleccionaste. Solo crea un widget para visualizar los datos y estarás listo.