#damndata

Midden oktober schoof ik aan voor het tech event rond "Big Data", georganiseerd door de jongens van Combell en IdeaLabs: Damn Data!

Waarom "Damn Data"? "We’d like to remind our audience that not everything is a damn SQL statement"

Voor een eerste editie is dit meer dan geslaagd: goeie organisatie, leuke ruimte en smakelijk eten en bijhorende drank. Nadien Vedett à volonté! Ook inhoudelijk hebben ze wel wat potten gebroken: in plaats van de typische set te programmeren rond de hype van "big data", hebben ze't meer technische en pragmatisch aangepakt. Er was een goeie mix tussen lokale helden (Steven Noels - NGData; Wim Van Leuven - Bigdata.be; ...), en de grotere gevestigde waarden (Ross Lawley - MongoDB; Chaitanya Mishra - Facebook; ...)

Wat heb ik genoteerd?

Je big data architectuur is sterk afhankelijk van de applicatie die aan het bouwen bent, idem voor de technologische keuzes;

"My Hadoop is bigger than yours" blijkt een populair t-shirt te zijn;

Facebook gebruikt een eigen systeem voor real time adhoc analyses (Presto), en heeft dat ook gedeeld naar de rest van de wereld;

Facebook doet per pageview ongeveer 3 queries naar de database. De overige 1200 items komen integraal uit de cache. Per pageview verschepen ze 200kB aan data, en dat een paar miljard keer per dag;

Facebook gelooft in "developing objects that do one thing only, but do it really really well";

Storm is "the new kid on the block", dat aan distributed realtime computation doet. Concreet: processing benchmarks van 1 miljoen records per seconde, per node zijn vrij indrukwekkend;