El clúster que se pretende desplegar es un clúster mínimo que físicamente se aloja en un armario rack que contiene los servidores que actúan de nodos del clúster y los dispositivos de conexionado de red (switches) que permiten la comunicación de los nodos. La red de datos que conecta los nodos del clúster es una… Continue reading →

El clúster que se pretende desplegar es un clúster Hadoop mínimo que permite almacenar y procesar, a “bajo” coste, grandes volúmenes de datos. Estos clústeres están constituidos por un conjunto de servicios y aplicaciones que forman el llamado ecosistema Hadoop: El clúster está compuesto por diferentes nodos que ejecutan un conjunto de los servicios de… Continue reading →

Los nodos “worker” de un clúster Hadoop proporcionan recursos de procesamiento y almacenamiento para las tareas que se ejecutan en el clúster. Servidores Los servidores elegidos para la implementación de los nodos del clúster son:     Servidores DL380 Gen10 con chasis de 2U, con capacidad para 8 discos SFF, equipado cada uno con:  2… Continue reading →

Los nodos “master” de un clúster Hadoop alojan los servicios de infraestructura críticos: NameNode, YARN ResourceManager, ZooKeeper, bases de datos de soporte, etc… Para ello los recursos de hardware deben ser adecuados y su configuración de sistemas de almacenamiento considerada. Servidores Los servidores elegidos para la implementación de los nodos del clúster son:    … Continue reading →

Tarea A.1: Instalación, discos y sistemas de archivo (incluye tareas J y K) Tarea B: Selección de servidor para nodo administrador Tarea C: Configuración de la resolución de nombres Tarea D: Configuración del acceso SSH Tarea H: Instalación de Java Tarea I.1: Configuración pre-despliegue, NTP Tarea I.2: Configuración pre-despliegue, syslog Tarea I.3: Configuración pre-despliegue, ulimit… Continue reading →