HadoopMarket

Hadoop compie 10 anni!

Apache Hadoop è un framework che supporta applicazioni distribuite con elevato accesso ai dati sotto una licenza libera; permette alle applicazioni di lavorare con migliaia di nodi e petabyte di dati. Hadoop è stato ispirato dalla MapReduce di Google e dal Google File System. Hadoop è un progetto Apache di alto livello costruito e usato da una comunità globale di contributori, che usano il linguaggio di programmazione Java.

Il nome del progetto è stato scelto dal suo creatore Doug Cutting, il quale ha scelto Hadoop, il nome dell’elefante di pezza di suo figlio. In origine fu sviluppato per supportare la distribuzione per il progetto del motore di ricerca Nutch poi confluito nel progetto Apache Lucene.

Hadoop ha raggiunto un punto di svolta. Per questa tecnologia notoriamente efficiente si prevede un tasso di crescita CAGR (Compound Annual Growth Rate) del 59,27% entro il 2020 con una dimensione di mercato di $ 285.000.000.000 nel 2025. Questa valutazione così alta è dovuta alle grandi quantità di dati che al giorno d’oggi sono oggetto di raccolta ed elaborazione. Ogni giorno 2,5 miliardi di miliardi (2,500,000,000,000,000,000) di byte di dati vengono creati e il 90% delle informazioni al mondo è stato creato solamente negli ultimi due anni. L’enorme quantità di dati oggi creati su base giornaliera ha spinto per disporre di una tecnologia in grado di elaborare e facilitare il trasferimento di set di dati enormi (misurabili in terabyte), impensabili con i database tradizionali.

Un altro motivo per il quale Hadoop ha preso piede in questo campo è la sua capacità di scalare facilmente. Quando si richiede più spazio, un altro nodo può essere aggiunto. Quando lo spazio non è più necessario, il nodo può essere rimosso senza influenzare il resto del database. Questo è qualcosa che proprio non si poteva fare con i database tradizionali. Prima di questa rivoluzione, i dati venivano memorizzati in data warehouse (DWH), che erano estremamente costosi e non potevano essere ridimensionati. Ciò ha portato a dati che vengono scartati in modo regolare per fare spazio ai nuovi dati. Con Hadoop la scalabilità avviene in tempo reale. Questa flessibilità sposa alla perfezione il paradigma del cloud, dove è possibile affittare server attraverso le aziende come AmazonWS, Google o Microsoft, con pochissimo preavviso. In questo modo non c’è quasi alcuno spreco di risorse e di costi.

Il mercato Hadoop si può distinguere in tre categorie: software, hardware e servizi. Il settore più grande, a causa di un imperizia generale all’uso di Hadoop, è stato finora quello dei servizi. Tuttavia, il settore che si prevede avrà la crescita maggiore è il settore software. Infatti come siamo abituati a vedere, man mano che gli sviluppatori diventano più abili nell’adottare nuove tecnologie si aprono nuove frontiere ai possibili usi e applicazioni. Questo, combinato con l’aumento della penetrazione della tecnologia in diversi mercati verticali, ha portato alla possibilità di scrivere nativamente nuovi software in Hadoop. Le fasi iniziali di Hadoop avevano software scritto su piattaforme “esterne” alla tecnologia. Questa nuova ondata di software Hadoop nativo sarà in grado di prendere realmente vantaggio dalle capacità di potenti tecnologie. Settori Verticali come quello bancario, assicurativo e delle telecomunicazioni saranno in grado di ottenere veramente importanti intuizioni di business dalle grandi quantità di dati che hanno raccolto e convertirli in informazioni strategiche.

Hadoop è già il futuro applicato dei Big Data.

Se volete approfondire l’argomento vi suggerisco il sito di O’Reilly. Come Casa Editrice O’Reilly distribuisce moltissimi libri/video/seminari ben fatti sull’argomento, oltre a organizzare ogni anno un appuntamento dedicato (Strata + Hadoop World). L’evento europeo di quest’anno si è concluso ieri a Londra. Cloudera, uno dei più attivi player e supporter di questa piattaforma gli ha dedicato una pagina per celebrare i primi 10 anni. Vi rimando al relativo url per apprezzare il percorso fin qui fatto.