DESCRIPCIÓN

Objetivo

Cargar datos trasformados del consumo energético en el Clúster para después analizarlos y generar predicciones futuras del consumo Energético.

Explicación

• Los datos de los medidores se registran en una base de datos de Serie Temporal (InfluxDB) registrando el consumo del medidor (kWh) con una frecuencia de 1 minuto.
• Para obtener los datos del consumo de una hora o de un día hay que sacar la diferencia.
• El reto consisten en realizar un proceso ETL para cargar los datos al Clúster periódicamente (cada semana “lunes a la mañana la carga de la semana anterior” o cada mes “primer día de cada mes”) para que después extraigamos los datos deseados y hagamos predicciones de consumos energéticos futuros.

TAREAS

	Carga de datos en HDFS tras proceso ETL: Cargar los datos almacenados en la base de datos de serie temporal (InfluxDB), con un job o cron (cada semana, cada mes, …)  para importarlos al Clúster. Se tendrá que realizar un script que ejecute las siguientes tareas. Capturar y Trasformar los Datos: Capturar los datos, agruparlos por horas o días, calcular los consumos, y obtener un Dataframe con las comunas deseadas. Limpiar los Datos: Limpiar los datos faltantes y valores atípicos (conviene realizar técnicas de imputación de datos en vez de quitarlos) Enriquecer los Datos: Con calendarios (festivos, …) y datos meteorológicos de las estaciones mas cercanas (Python metostat)   Ajustar la Predicción: Genera un script para que se hagan predicciones de consumos energéticos futuros. Extraer los datos de HDFS   Dividir Datos en Entrenamiento y Test Aplicar distintos Algoritmos de Regresión (DecisionTree, RandomFores, XGboost, …) Análisis Exploratorio de modelos y Datos Análisis Visual de Resultados   Crear Job para ejecución de Script elegido: Crear Script con el algoritmo seleccionado para que se entrene con unos datos X (los últimos 3 meses, un año) y realice predicciones futuras periódicamente (cada cambio de mes, el siguiente mes) Ajustar Script para que obtenga los datos de un periodo concreto para el Entrenamiento: Generar modelo con el algoritmo seleccionado, y guardar el modelo. Añadir predicciones al Dataframe de Entrenamiento y al Dataframe Test (Futuro). Visualizar los datos de forma Gráfica, Real vs. Predicción.

Ejemplos Visuales de Entrenamiento, Test y Predicciones Futuras.

• Entrenamiento

• Test

• Futuro

INTRODUCCIÓN AL RETO:

Big Data es un concepto que se crea a raíz de la capacidad de almacenamiento de gran cantidad de datos, normalmente generados por empresas u otro tipo de organismos (facturas, datos de usuarios o clientes, stocks de material…) o con el avance de tecnologías como IoT (directamente por objetos que generan información desde sensores) que si es analizada (mediante algoritmos tipo machine learning u otros métodos convencionales) pueden generar “insights” útiles para tomar decisiones (en negocios, investigaciones científicas, salud y muchos sectores).

 

La Inteligencia Artificial y el Big Data se complementan perfectamente ya que crean un círculo de retroalimentación: con los datos se pueden alimentar los sistemas de AI para obtener resultados, el sistema aprende y se vuelve más inteligente, mientras que los resultados obtenidos se convierten en nuevos datos de entrada para el sistema.

Un programa no tiene inteligencia, hace exactamente lo que le piden. La IA no se basa en órdenes, si no en datos de entrada y resultados basados en probabilidades de éxito.

El Aprendizaje Automático es la capacidad de un sistema, de un software, para aprender por sí solo.

Existen algoritmos de machine learning orientados a lograr este aprendimiento.

 

DESCRIPCIÓN:

El objetivo de este reto es que creéis un proyecto, pensado por vosotros mismo, con las herramientas vistas en clase tanto de Big Data como de Inteligencia Artificial.

Fase del proyecto:

Comunicación

Entre los integrantes del grupo piensan en la propuesto y presenta su solicitud de desarrollo de software.

 

 

 

Planificación y análisis

El desarrollo de software comienza con una fase inicial de planificación incluyendo un análisis de requisitos.  Se indaga en profundidad. Los requisitos se agrupan en requisitos del proyecto, requisitos funcionales y requisitos del sistema.

 

 

 

Estudio de viabilidad

Después de la recolección de requisitos, se idea un plan para procesar el software. Se analiza que parte del software cubre los requisitos de cada usuario. Se investiga la viabilidad tecnológica.

 

 

 

Análisis del sistema

En este paso el equipo del proyecto asigna recursos y planifica el tiempo de duración del proyecto. Se buscan limitaciones del producto y se identifican los impactos del proyecto sobre toda la organización en su conjunto.

 

 

 

 

Diseño

En esta fase ya se comienza a visualizar la solución con la ayuda de las anteriores fases. Se hace un diseño lógico y otro físico. Se crean metadatos, diagramas o pseudocódigos. La duración de esta fase varía de un proyecto a otro.

 

 

Codificación

Esta fase también denominada ‘fase de programación’ o ‘fase de desarrollo’ es en la que elige el lenguaje de programación más conveniente, y se desarrollan programas ejecutables y sin errores de manera eficiente. Al final de esta fase se puede obtener un PMV (Producto mínimo viable) o el software completamente desarrollado y listo para implementarse.

 

 

 

 

Integración

El Software puede necesitar estar integrado con bibliotecas, bases de datos o con otros programas. Esta fase del SDLC integra el software con las entidades del mundo exterior.

 

 

 

 

 

Pruebas

Esta fase junto con la fase de desarrollo entra en un ciclo continuo hasta que se completan el desarrollo y las pruebas. Probamos, probamos y luego volvemos a probar tanto como sea necesario hasta que la funcionalidad sea del 100%.

Además, se hacen evaluaciones para evitar errores, incluyendo la evaluación de módulos, programas, productos, y finalmente evaluación con el profesor. Encontrar errores y su arreglarlos a tiempo es la clave para conseguir un software confiable y eficiente.

 

 

Presentación

    Esta es la fase más interesante, ¡La presentación!

 

 

 

DESCRIPCIÓN

 

Objetivo: Realizar un análisis integral de la red de sonómetros en Bilbao para comprender y caracterizar los niveles de ruido en diferentes áreas de la ciudad.

 

Datos: Datos de los sonómetros y geoespaciales.

Open data Euskadi (los sonómetros y su geolocalización):

https://www.bilbao.eus/aytoonline/jsp/opendata/movilidad/od_sonometro_mediciones.jsp?idioma=c&formato=json
https://www.bilbao.eus/aytoonline/jsp/opendata/movilidad/od_sonometro_ubicacion.jsp?idioma=c&formato=geojson

Ayuntamiento de Bilbao (tráfico de Bilbao):

https://www.bilbao.eus/aytoonline/srvDatasetTrafico?formato=geojson

Pasos:

1. Importar y Limpiar Datos: Importa los datos de sonómetros y realiza una limpieza inicial. Asegúrate de que los datos estén completos, trata valores atípicos y asegúrate de que la información geoespacial este correctamente asociada.

2. Análisis Exploratorio: Calcula estadísticas descriptivas de los niveles de ruido, como medias, desviaciones estándar y rangos. Visualiza la variación temporal y espacial de los niveles de ruido. 

3. Mapeo de Niveles de Ruido: Utiliza herramientas de mapeo para representar los niveles de ruido en diferentes áreas de la ciudad. Puedes considerar mapas de calor para resaltar las zonas con mayores niveles de ruido. 

4. Correlaciones Espaciales: Investiga las correlaciones espaciales entre los niveles de ruido en diferentes ubicaciones. ¿Existen patrones geográficos en los niveles de ruido?

5. Análisis Temporal: Examina la variación de los niveles de ruido a lo largo del tiempo. Puedes identificar patrones diurnos/nocturnos, así como eventos especiales que puedan afectar los niveles de ruido entre otros. 

6. Comparación con Parámetros Regulatorios: Compara los niveles de ruido registrados con los estándares y regulaciones locales. Identifica áreas que podrían requerir intervenciones para cumplir con los límites establecidos.

7. Informe y Visualización de Resultados: Crea un Power BI que incluya visualizaciones significativas. Utiliza gráficos, mapas y tablas para comunicar claramente los patrones y conclusiones encontrados. Crea un informe con todas las conclusiones encontradas.

Al menos, tu programa en R debe de contestar a las siguientes cuestiones:

1. ¿Cuántos registros hay en la base de datos de los sonómetros de Bilbao?

2. Mostrar calles en Bilbao que cuentan con sonómetros

3. ¿Cuántas veces ha contado un sonómetro en cada calle?

4. ¿Cuál es el promedio de la calle con los decibelios más altos?

5. ¿Cuál es el promedio de la calle con los decibelios más bajos?

6. ¿Cuál es el registro más alto en decibelios de un sonómetro?

7. ¿Cuál es el registro más bajo en decibelios de un sonómetro?

8. Imprimir calles ordenadas de mayor a menor por promedio de decibelios

9. ¿En cual franja horaria (hora) se producen más decibelios?

10. ¿En cual franja horaria (hora) se producen menos decibelios?

11. ¿En qué fecha se han producido más decibelios?

12. ¿En qué fecha se han producido menos decibelios?

13. ¿En qué fecha y hora se han producido más decibelios?

14. ¿En qué fecha y hora se han producido menos decibelios?

15. Promedio de decibelios de todo Bilbao

16. Análisis de los parámetros más necesarios para realizar predicciones

17. Distintas predicciones del ruido que van a generar los sonómetros, en base a los parámetros importantes.

18. Análisis de la calidad del predictor y de su margen de error

 

DESCRIPCIÓN

La multinacional Metflis desea realizar un estudio detallado de las películas que sus clientes ven y las calificaciones que otorgan a estas películas. El objetivo principal de este estudio es mejorar la calidad y la relevancia del contenido que se ofrece a los usuarios.

Para llevar a cabo esta tarea, crearemos una base de datos relacional utilizando PostgreSQL que permitirá a Metflis rastrear las preferencias de los usuarios, las películas disponibles y las calificaciones de las películas. Además, implementaremos secuencias para generar identificadores únicos, triggers para mantener automáticamente la calificación promedio de las películas y al menos un procedimiento almacenado para agregar películas a las listas de reproducción de los usuarios.

1. Modelo E/R: En Metflis , puedes tener usuarios, películas y listas de reproducción. Los usuarios pueden agregar películas a sus listas de reproducción y también pueden marcar películas como vistas o no vistas. Además, cada película tiene una calificación promedio dada por los usuarios.
2. Creación de tablas en PostgreSQL: Cada primary_key de cada tabla será una secuencia.
3. Triggers: Actualiza la calificación de promedio de una película cada vez que un usuario la califique
4. Las creaciones de registros se realizan a través de procedimientos almacenado

A continuación, cada grupo propondrá un proyecto que tendrá que tener las siguientes características mínimas:

• El programa tiene que utilizar la base de datos creada anteriormente.
• Si el alumno/grupo de alumnos considera hacer limpieza de la base de datos (eliminar información innecesaria, borrar columnas, eliminar columnas, etc.) lo podrá hacer justificando dicha limpieza.

El programa se realizará en Python.

• A poder ser se realizará en Google Colab salvo que las necesidades del proyecto requieran un cambio de plataforma.
• El programa deberá de tener como mínimo las siguientes funcionalidades del lenguaje Python: uso de bucles, cadenas, condicionales, listas, tuplas, diccionarios, funciones, control de excepciones, uso de programación orientada a objetos.
• Se valorará positivamente el uso de nuevas funcionalidades de Python no mencionadas anteriormente.
• Se recomienda la realización de un menú o un diseño intuitivo para que a la hora de ejecutar sea lo más ‘user friendly’ posible.
• Relacionar la base de datos usada con una de las siguientes áreas

Relacionar el programa realizado con la afectación que tendría en la sociedad. El proyecto tendrá que ser lo suficientemente largo para que todos los integrantes del grupo puedan participar en él.

Una vez se haga la propuesta del proyecto, el profesor lo validará y se podrá comenzar con el mismo.

Finalmente, se recomienda y se valorará positivamente la realización de una documentación explicando las características principales del proyecto realizado

DESCRIPCIÓN

Pertenecemos al departamento de informática de la multinacional IA&BD Consulting, la cual presta servicios a una conocida tele operadora de telefonía móvil.

Con la intención de actualizar la empresa a los nuevos tiempos, se ha contratado un nuevo Director General que nada más llegar ha comenzado a pedir una serie de informes de situación para poder hacerse una idea lo más clara posible de con qué se va a encontrar.

Por otro lado, el cliente necesita desarrollar un sistema que sea capaz de alertar de si un cliente está a punto de darse de baja.    

SISTEMAS DE BIG DATA

El departamento financiero nos han facilitado una excel con los datos administrativos, lo cual, resulta bastante engorroso a la hora de querer hacer consultas y analítica.

Las tareas a realizar son las siguientes:

– Crear una base de datos en MongoDB con sus colecciones y documentos.

– Un informe ejecutivo en Power BI para el gerente con todos los datos relevantes.

            

 

 

 

 

 

BIG DATA APLICADO

El cliente dispone de gran volumen de datos por los que deciden usar un entorno hadoop.

Las tareas a realizar son las siguientes:

– Los datos estarán guardados en Hive. Crear una base de datos y guardar todos los datos que se encuentran en el fichero.

– Desde spark se va a acceder a los datos de hive para realizar una serie de cálculos:

Para poder acceder desde spark a hive se debe buscar el archivo hive-site.xml en el directorio spark y reemplazarlo por el archivo hive-site.xml que se encuentra en el directorio hive.

Realizar los siguientes cálculos desde spark y guardarlos en Hive.

– Calcular mediante un map reduce el número de llamadas por zona (sumar dia y noche)

– Calcular el número de carga por plan de voz (Voice mail plan)

  

                                             

 

 

 

 

 

 

 

SISTEMAS DE APRENDIZAJE AUTOMÁTICO

Usad bigML para hacer la predicción: determinar qué algoritmo es más adecuado para solucionar el problema (supervisado o no supervisado). Usar más de un algoritmo supervisado y utilizar la mayor cantidad de funcionalidades de bigML.

Hay que explorar y analizar los datos con bigML. Finalmente, hay que argumentar el uso de cada algoritmo.

              

PROGRAMACIÓN DE INTELIGENCIA ARTIFICIAL

Haced el limpiado y adecuación de la BD en Python. Usar la plataforma de Kaggle de apoyo y utilizar ejemplos realizados en las actividades de clase.

                

 

 

 

Elegir el algoritmo que mejores resultados haya dado en bigML y realizar la predicción en Python. Para ello utilizar la librería scikit-learn, numpy, pandas, matplotlib y utilizar la programación estructurada.

                                              

                  

 

 

 

 

 

DOCUMENTACIÓN A ENTREGAR

 Documentación a entregar:

1. Portada con el nombre del estudiante y el título de la actividad-reto, el número de la evaluación y la fecha de entrega.
2. Índice principal.
3. Referencias bibliográficas. 
4. Anexos: estos son apartados opcionales que contienen elementos que complementan o amplían la información del trabajo.
5. La documentación deberá estar escrita en tamaño de página A4 con los siguientes márgenes:

         Izquierdo: 3,0 cm.

         Derecho: 2,0 cm.

         Superior e inferior: 2,5 cm.

Texto principal:

         Arial 12, justificado, interlineado 1,5.

Notas al pie:

         Arial 10, justificado.

Tablas, figuras, imágenes:

         Título en la parte inferior: Arial 12, negrita, centrado.

Encabezado y pie de página:

         Todas las páginas llevarán un encabezado con  el nombre completo del estudiante y el título de la actividad-reto.

         Todas las páginas llevarán también un pie de página con el número de página.

6. Presentación del reto: usar transparencias por ejemplo para ello.