#apache-spark

Apache Spark consists of several purpose-built components. Let's see what a typical Spark program looks like.

Apache Spark Flows – Apache Spark consists of several purpose-built components as we have discuss at the introduction of apache spark. Let’s see what a typical Spark program looks like. Imagine that a 300 MB log file is stored in a three-node HDFS cluster. Hadoop File System (HDFS) automatically splits the file into 128 MB parts and places each part on a separate node of the cluster.

Let’s…

Seguimos con la serie Aprende apache spark con Java Apache Spark 2 : Flat map con Java #java #apachespark #transformations #flatmap #devs4j

A diferencia de Map, FlatMap nos permitirá generar una lista de elementos de uno solo, en Map teníamos un elemento de entrada y teníamos uno de salida, con FlatMap tendremos un elemento de entrada y a partir de este generaremos un conjunto de elementos de salida.

En el post Apache Spark 2 : Conceptos básicos utilizamos Flat map para realizar un conteo de palabras, en este post haremos una…

Apache Spark 2 : Transformaciones (Map y filter )

Recordemos que las transformaciones son operaciones sobre RDDs que darán como resultado un nuevo RDD, las transformaciones más comunes son las siguientes:

Filter: Toma una función que devuelve un nuevo RDD formado por los elementos que pasen una función filtro. Esta función se puede utilizar para limpiar un RDD de entrada, veamos un ejemplo:

public class FilterNamesExample { public static void…

Aprende a crear tus RDDs con Java paso a paso y en español ! #apache #apacheSpark #java #devs4j Apache Spark 2 : Creando un RDD con Java

En el post anterior aprendimos los conceptos básicos de un RDDs, en este post los implementaremos con Java y analizaremos su funcionamiento. En Spark tenemos tres formas de crear RDDs :

Paralelizando una colección existente en tu programa

Creando un dataset de un almacenamiento externo

 Creando un RDD de un RDD existente

A continuación veremos como realizar con Java cada una de las formas…

Aprende Apache Spark desde cero con Java y en Español ! #apacheSpark #java #rdd #geek Apache Spark 2 : RDD(Resilient distributed dataset)

Todo Apache Spark fue construido alrededor de RDD(Resilient distributed dataset)  y es el objeto principal cuando construimos aplicaciones con Spark. Pueden contener cualquier tipo de objetos incluyendo clases definidas por el desarrollador, en Spark todo el trabajo se expresa en crear, transformar o llamar operaciones que darán como resultado RDD’s.

Spark distribuirá los datos contenidos en los…

Aprende Apache Spark 2 desde cero Con Java en Español ! Apache Spark 2 : Conceptos básicos #java #apache #spark #geek #devs4j

Apache Spark es un cluster dedicado al procesamiento de información de forma muy rápida, provee soporte para el desarrollo de aplicaciones con Java, Scala, Python y R. Su engine cuenta con soporte para SQL, Machine Learning, Streaming, GraphX, etc.

Características

Cuando se procesan grandes datasets uno de los aspectos más importantes es la velocidad,  por esto Spark cuenta con un motor llamado…

About a month back, I’d done something I was not very proud of — a piece of code that I was not very happy about. My excuse was that there’s a deadline that I’d to meet and I was fairly new to Spark (or Scala, if you please.)

It was a simple piece (not very far from the typical Word Count problem), in which the task required counting words at specific indices, and then print the unified count per…