JobTracker

Kirjoittaja: Roger Morrison
Luomispäivä: 19 Syyskuu 2021
Päivityspäivä: 21 Kesäkuu 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Video: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Sisältö

Määritelmä - mitä JobTracker tarkoittaa?

JobTracker on demoni, joka toimii Apache Hadoops MapReduce -moottorilla. JobTracker on tärkeä palvelu, joka ylläpitää kaikki MapReduce-tehtävät klusterin eri solmuille, mieluiten niille solmuille, jotka jo sisältävät tiedot tai ainakin sijaitsevat samassa telineessä kuin tiedot sisältävät solmut.


Johdanto Microsoft Azureen ja Microsoft Cloud | Tämän oppaan läpi opit mitä pilvipalvelussa on kyse ja kuinka Microsoft Azure voi auttaa sinua siirtämään ja johtamaan yritystä pilvestä.

Techopedia selittää JobTrackerin

JobTracker on Hadoopin palvelu, joka vastaa asiakaspyyntöjen vastaanottamisesta. Se määrää ne DataNodes-sovelluksen TaskTrackers-sovelluksille, joissa vaaditut tiedot ovat paikallisesti läsnä. Jos tämä ei ole mahdollista, JobTracker yrittää osoittaa tehtävät TaskTrackersille samassa telineessä, jossa tiedot ovat paikallisesti läsnä. Jos jostain syystä tämä myös epäonnistuu, JobTracker antaa tehtävän TaskTrackerille, jossa on tietojen kopio. Hadoopissa datalohkoja replikoidaan DataNodes-järjestelmissä redundanssin varmistamiseksi, joten jos klusterin yksi solmu epäonnistuu, työ ei myöskään epäonnistu.


JobTracker-prosessi:

  1. JobTracker vastaanottaa työhakemukset asiakassovelluksista,
  2. JobTracker pyytää NameNode-koodia tarvittavien tietojen sijainnin määrittämiseksi.
  3. JobTracker etsii TaskTracker-solmut, jotka sisältävät tietoja tai ainakin ovat datan lähellä.
  4. Työ lähetetään valittuun TaskTrackeriin.
  5. TaskTracker suorittaa tehtävänsä JobTrackerin tarkkailemana. Jos työ epäonnistuu, JobTracker yksinkertaisesti lähettää työn toiselle TaskTrackerille. JobTracker itse on kuitenkin yksi virhekohta, mikä tarkoittaa, että jos se epäonnistuu, koko järjestelmä menee alas.
  6. JobTracker päivittää tilansa, kun työ on valmis.
  7. Asiakaspyynnön esittäjä voi nyt kysyä tietoja JobTrackerista.