#data bigdata

Data itsessään on Wikipedian määritelmän mukaan tietoa, joka on koneellisesti käsiteltävässä muodossa. Data voi olla esimerkiksi tekstiä, tilastoja, karttoja, kuvia videotallenteita, musiikkia tai taloustietoja, data ei siis käsitä pelkästään esimerkiksi tilastotietoa talouden yleisestä kehityksestä, vaan se voi olla myös lehtiartikkeli tai musiikkia.

Avoin data on yksityishenkilöille, julkishallinnolle, organisaatiolle tai yrityksille kertynyttä dataa, joka on vapaasti hyödynnettävissä mihin käyttötarkoitukseen tahansa.

Avointa dataa voi käyttää siis yritykset kaupallisiin tarkoituksiin. Avoimen datan määrittelyyn kuuluu, että se on koneellisesti tutkittavissa ja kaikkien ulottuvilla.

Avoin data ei kuitenkaan voi sisältää esimerkiksi henkilötietoja tai liikesalaisuuksia, datan täytyy siis olla julkista ja laillisesti saatavissa, kuitenkaan vaarantamatta yleistä turvallisuutta tai yksityisyydensuojaa.

Big data on jatkuvasti lisääntyvien suurten, järjestelemättömien tietomassojen keräämistä, säilyttämistä, etsimistä ja analysointia tietotekniikan ja tilastotieteen avulla.

Big data on vain yhteisnimitys järjettömille datamassoille, joiden yhteydessä ei voi soveltaa perinteisiä datahallintatapoja.

Big dataa voi siis pitää liukuvana käsitteenä, vielä ei ole vakiintunutta määritelmää, mitä big data tarkkaan ottaen on. Kuitenkin tärkein määritelmä on, ettei se ole käsiteltävissä olevilla laitteistolla säädyllisessä ajassa, ja data tulee monista eri lähteistä, eri muodossa ja se muuttuu jatkuvasti.

Esimerkiksi vielä viimeviikolla ollutta big dataa ei välttämättä enää voi määritellä big dataksi, jos sitä nyt voidaan käsitellä ja hyödyntää esimerkiksi yrityksen liiketoiminnassa.

Facebook omistaa järjettömän määrän big dataa, se kerää kaiken tiedon käyttäjistään, päivityksistä sijaintiin ja päivittäiseen käyttöaikaan monista eri lähteistä.

Kaikki tämä data on nopeasti kasaantuvaa, eikä kaikkea voi hyödyntää liiketoiminnassa, eikä tarkkaa käyttötarkoitusta vielä tiedetä.

Haasteeksi siis koituu, mihin big dataa voi käyttää, on paljon turhaa dataa ja se rakenne on huonoa tai erittäin löyhää.

Helsinki Region Infoshare on avoimen datan lähde, joka kerää tietoa pääkaupunkiseudun lähteistä, avointa dataa käytetään esimerkiksi sovelluksien kehittämiseen.

Seuraavaksi esittelyssä sovellukset SiirtoSoitto ja Vantaan auraustilannekartta.

SiirtoSoitto on sovellus, joka ilmoittaa käyttäjälleen tulevista kunnossapitotöistä, jotka vaikuttavat kadunvarsipysäköintiin, ja Vantaan auraustilannekartta on sovellus, joka GPS- seurantaa hyödyntäen tutkii, mitkä teistä Vantaalla on aurattu.

Molemmat sovellukset voivat hyötyä avoimesta datasta esimerkiksi etsimällä tietoa, mihin aikaan suurin osa auton käyttäjistä herää aamulla, ja käyttävät ajoneuvoa.

Täten yritykset voivat ajoittaa päivittäiset ilmoitukset ajankohtiin, jolloin käyttäjät ovat hereillä, mutteivat vielä ole lähteneet liikenteeseen, eli parhaaseen mahdolliseen ajankohtaan sovelluksen käyttäjän kannalta.

 Lähteet:

https://fi.wikipedia.org/wiki/Avoin_data

https://hri.fi/data/fi/showcase/siirtosoitto

https://hri.fi/data/fi/showcase/vantaanauraustilannekartta

by Ellen Friedman on Twitter as @Ellen_Friedman

As we welcome the new year, Apache Drill has two new committers: Timothy Chen and Julian Hyde.  Their hard work on behalf of Drill has earned the notice and gratitude of the project and community.

Tim Chen is an engineer at Microsoft in Seattle who recently spoke at the Bay Area Apache Drill User Group meet-up about his work related to the lifetime of a Drill query end-to-end. Tim’s presentation was part of the celebration of the first milestone release for Drill. Please see the earlier post here at the Drill User blog for details. You can find out more at Tim’s blog or follow him on Twitter @tnachen

Julian Hyde was an engineer at Pentaho who recently moved to Hortonworks. For Drill, Julian has worked on the SQL. Julian is also lead developer of Mondrian OLAP engine and Optiq data platform and is one of the authors of the Manning book Mondrian in Action  http://www.manning.com/back/   Julian will be one of the speakers at the next Bay Area Apache Drill User Group planned for 24 Feb 2014. Stay tuned for details. You can follow Julian on Twitter @julianhyde

Drill is also fortunate to have the help of a new project mentor, Sebastian Schelter. Sebastian is a PhD student and research associate at TU Berlin, with expertise in machine learning, especially recommendation. Sebastian is active with the Apache Foundation, being a PMC member and committer for the Apache Mahout project. Sebastian is on Twitter as @sscdotopen

And a Happy New Year for 2014 to you all!

Follow the Apache Drill community on Twitter @ApacheDrill