Pärast poolteist aastat kestnud arengut Apache Software Foundation on välja andnud programmi uue versiooni käivitamine Apache Hadoop 3.3.0, versioon milles ta lisas ARM-i platvormide täiustusi, tugi konteinerite vette laskmise ja muu planeerimiseks.
Apache Hadoop positsioneerib ennast vaba platvormina korraldada jaotatud töötlemine suures koguses andmeid kasutades kaardi / vähendamise paradigma, kus ülesanne on jagatud paljudeks väiksemateks eraldatud tükkideks, millest igaüks võib töötada eraldi klastersõlmes.
Hadoop-põhine salvestusruum see võib hõlmata tuhandeid sõlme ja sisaldada eksabaiti andmeid.
Apache Hadoopi kohta
hadoop sisaldab Hadoopi hajutatud failisüsteemi juurutamist (HDFS), mis tagab andmete liiasuse automaatselt ja on optimeeritud MapReduce rakenduste jaoks.
Põhifunktsioon on see, et töö tõhusaks ajastamiseks peab iga failisüsteem teadma ja esitama oma asukoha, racki (täpsemalt lüliti) nime, kus on töötaja sõlm.
Hadoopi rakendused saavad selle teabe abil tööd teha sõlmes, kus andmed asuvad, ja selle puudumisel samal rackil / lülitil, vähendades seeläbi võrguliiklust.
Andmetele juurdepääsu lihtsustamiseks Hadoopi hoidlas, Välja on töötatud HBase'i andmebaas ja SQL-i sarnane seakeel, mis on MapReduce'i SQL-tüüp, mille päringuid saab Hadoopi mitmesugustel platvormidel paralleelselt töödelda.
Projekti hinnatakse täiesti stabiilseks ja tööstusvalmis. Hadoopi kasutatakse aktiivselt suurtes tööstusprojektides, pakkudes Google Bigtable / GFS / MapReduce platvormile sarnaseid võimalusi, samal ajal kui Google on ametlikult delegeerinud Hadoopi ja teistel Apache'i projektidel õigus kasutada MapReduce meetodiga seotud patendiga kaetud tehnoloogiaid.
Hadoop on Apache'i hoidlate seas esimesel kohal muudatuste arvu ja suuruselt viienda koodibaasi (umbes 4 miljonit koodirida) poolest.
Mida uut on Apache Hadoop 3.3-s?
Hadoopi uus versioon on paigutatud esimese versioonina, millel on el tugi ARM-põhistele platvormidele, kellega selle platvormi juurutamisest huvitatud isikud leiavad ARM-i jaoks juba saadaval oleva binaarkaardi.
Teine peamistest muudatustest, mida selles uues versioonis esitatakse, on Protobufi uue versiooni juurutamine (Protokollipuhvrid), mida kasutatakse struktureeritud andmete järjestamiseks on värskendatud versioonile 3.7.1 protobuf-2.5.0 haru elutsükli lõpu tõttu.
Lisaks sellele ka S3A pistiku võimalusi on juba laiendatud et tal on nüüd olemas lisatud tugi märkide abil autentimiseks täiustatud tugi 404-koodiga reageerimise vahemällu salvestamiseks, suurem S3guardi jõudlus ja parem töökindlus.
ka DNS-lahendusteenus on lisatud kliendi jaoks serverite määramiseks DNS-i kaudu hostinimede järgi, mis võimaldab teil loobuda kõigi konfiguratsioonis olevate hostide loendist.
Nagu ka konteinerite käivitamise ajastamise tugi tsentraliseeritud ressursihalduri kaudu (ResourceManager), isegi võimalusega konteinereid levitada, võttes arvesse iga sõlme koormust.
Muudest silmapaistvatest muudatustest selle uue versiooni:
- Automaatse häälestamise probleemid on ABFS-failisüsteemis lahendatud.
- Lisatud Tencent Cloudi COS-failisüsteemi loomulik tugi COS-i objektide salvestusruumi pääsemiseks.
- Lisati Java 11 täielik tugi.
- Stabiliseeris HDFS RBF (ruuteripõhine föderatsioon) juurutamise. HDFS-i ruuterile on lisatud turvakontrollid.
- Lisatud on rakenduse YARN kataloog (teine ressursside läbirääkija).
Lõpuks, kui soovite selle kohta rohkem teada saada, saate uue versiooni üksikasju vaadata aadressil algne postitus.
Neile, kes on huvitatud uue versiooni hankimisest, saavad nad alla laadida ettevalmistatud kahendfailid Järgmisel lingil.