Tag Archives: Spark

Apache Kafka y Spark Streaming

Posted on by | Leave a reply

Creación de Tópicos, Productores y Consumidores 

    1. Conectarse a Zoopeker:
    2. Para comprobar la conexión: bin/zkCli.sh -server localhost:2181
    3. Conectarse a kafka en segundo plano con daemon:
    4. Creación de nuevo topics:
    5. Visualización de los topics existentes:
    6. Para producir (pantalla de la izquieda) y consumir (pantalla de la derecha) mensajes desde shell (TEST).
      Existen dos maneras de producir mensajes:
      Esto quedará reflejado en el consumidor con un null o la clave.
    7. Para producir mensajes desde Spark Streaming (Scala):
    8. Para consumir mensajes desde Spark Streaming (Scala):

Apache Spark

Posted on by | Leave a reply

Apache Spark es un marco informático de clúster de código abierto para el procesamiento en tiempo real. Tiene una próspera comunidad de código abierto y es el proyecto Apache más activo en este momento. Spark proporciona una interfaz para programar clústeres completos con paralelismo de datos implícito y tolerancia a fallas.

Fue construido sobre Hadoop MapReduce y extiende el modelo MapReduce para usarlo de manera más eficiente y con más tipos de cálculos.

 

Las característica de Spark son las siguientes:

  • Políglota:
    • Spark proporciona un API de alto nivel en Java, Scala, Python y R. El código de Spark se puede escribir en cualquiera de estos cuatro lenguajes.
    • Proporciona un shell en Scala y en Python.
    • Desde el directorio instalado se puede acceder al shell de Scala y al shell de Python  a través de ./bin/spark-shell y de ./bin/pyspark respectivamente.
  • Velocidad:
    • Para el procesamiento de datos a gran escala, Spark se ejecuta hasta 100 veces más rápido que Hadoop MapReduce.
    • Spark puede lograr esta velocidad a través de la partición controlada.
    • Administra los datos mediante particiones que ayudan a paralelizar el procesamiento de datos distribuidos con un tráfico de red mínimo.
  • Evaluación perezosa :
    • Apache Spark retrasa su evaluación hasta que sea absolutamente necesario. Este es uno de los factores clave que contribuyen a su velocidad.
    • Spark agrega las transformaciones a un DAG (Gráfico acíclico dirigido) de cálculo y solo cuando el controlador solicita algún dato se ejecuta el DAG.
  • Integración Hadoop :
    • Apache Spark proporciona una compatibilidad fluida con Hadoop.
    • Spark es un reemplazo potencial para las funciones de MapReduce de Hadoop.
    • Para la programación de recursos, Spark tiene la capacidad de ejecutarse sobre un clúster de Hadoop existente usando YARN.
  • Aprendizaje automático :
    • MLlib de Spark es el componente de aprendizaje automático, útil cuando se trata de procesamiento de Big Data.
    • Erradica la necesidad de usar múltiples herramientas; una para procesamiento y otra para aprendizaje automático.
    • Spark proporciona a los ingenieros y científicos de datos un motor potente y unificado rápido y fácil de usar.