Többéves fejlesztés után megjelent a Hadoop első stabil, biztonságos, éles környezetekben is nyugodtan használható verziója.

A párhuzamos adatfeldolgozás segítő nyílt forráskódú Hadoop keretrendszer utóbbi évekekben meglehetősen nagy népszerűségre tett szert. A webes óriáscégek (E-bay, Amazon, Twitter, Yahoo, Facebook) által is előszeretettel alkalmazott szoftver azonban hivatalosan még csak béta állapotban volt, jellemzően a különböző 0.2X verziókat használta mindenki.

A most megjelent 1.0-ás kiadás fő újdonsága a nagyvállalatok által igényelt integrált biztonsági rendszer, amely a Kerberos protokollra épít. Szintén fontos újdonság a WebHDFS API, amely webszolgáltatásként is elérhető teszi a Hadoop különböző funkciót.

A harmadik fontos újdonság a HBase teljes körű támogatása, amelynek segítségével a Hadoop által kezelt adatokat az általában használatos szövegállományok helyett relációs struktúrákban lehet tárolni.

A Hadoop viszonylag könnyen lehetővé teszi, hogy több számítógépből olyan számítási fürtöt alakíthasson ki a felhasználó, amelyet aztán képes különböző programozási nyelveken (például Java, Python, Perl) megírt feldolgozásokat párhuzamosan végrehajtani igen nagy adattömegeken is.

A Hadoop tipikus alkalmazási területei között megtalálható a webes logok feldolgozása, spam levelek azonosítása, tömeges méretű perszonalizáció és a csalásfelderítés.

A Hadoop körül virágzó támogató infrastuktúra alakult ki, a számos erre specializálódott startup cég mellett a tavaly év során a vezető IT vállalatok - EMC, IBM, Microsoft, Oracle - is felkarolták a szoftver alkalmazását.

További információ
hadoop.apache.org

 

Tweet