Sisältö
- Ei vikoja, ei stressiä - vaiheittaiset ohjeet elämää muuttavien ohjelmistojen luomiseen tuhoamatta elämääsi
- Alas liiketoimintaan
- Kuinka Kafka muuttaa tiedonhallintaa
Ottaa mukaan:
Kafka tekee tietojärjestelmiin sen, mitä LinkedIn tekee liikemiehille: pitää heidät kytkettynä laajalle alueelle.
Uskomme intohimoisesti johonkin, jota vielä ei ole, luomme sen. Olematonta ole mitä tahansa, mitä emme ole riittävän toivoneet.~ Franz Kafka
Tarpeellisuus on edelleen keksinnön äiti. Kuten kohtelias konsultti kertoi minulle kerran: "Jos on jotain, mitä organisaation on tapahduttava, niin se tapahtuu." Hänen huomionsa oli kaksitahoinen: 1) jotkut ihmiset löytävät aina tavan saada asiat aikaan; ja 2) ylimmälle johdolle tai jopa keskijohdolle ei ehkä tiedä tarkalleen kuinka asiat menevät omissa toimipaikoissaan.
Jos laajennamme kyseisen metaforin koko tiedonhallinnan universumiin, voimme nähdä muutoksen tapahtuvan juuri nyt. Suuren datan raakapaine yhdistettynä streaming-akseliin luo niin paljon paineita, että vanhat järjestelmät rypistyvät reunoilla, elleivät jopa romahta kokonaan. Siitä huolimatta, tällä hetkellä on lukemattomia ammattilaisia, jotka tekevät työtä, jotka eivät ole suuresti tietoisia tästä todellisuudesta.
Tietoyrityksillä, tietovetoisilla yrityksillä on eturivin istuin, ja ne johtavat monella tavalla tätä muutosta. Mieti, kuinka Yahoo!: N ja LinkedInin kaltaiset voimalat ovat kääntäneet yritysohjelmistoteollisuuden sivuttain upeilla lahjoituksillaan avoimeen lähdekoodiin: Hadoop, Cassandra ja nyt Kafka, jotka kaikki ovat saaneet Apache-säätiö, joka on itse keskeinen toimija tässä metamorfoosissa .
Mikä on kaiken tämän muutoksen tulos? Tänä päivänä todistettiin itse tiedonhallinnan kategorinen uudelleenluokittelu ja uudelleenjärjestely. Tämä ei tarkoita sitä, että vanhat järjestelmät repivät ja korvataan nyt. Jokainen alan veteraani kertoo, että vanhojen järjestelmien tukkumyynti tapahtuu suunnilleen yhtä usein kuin Chicago Cubs voittaa World Seriesin. Se on vähintäänkin harvinainen tapahtuma.
Mitä todella tapahtuu, on, että superrakenne rakennetaan ympäri vanhan maailman järjestelmiä. Harkitse niiden maiden välisten moottoriteiden analogiaa, jotka nousevat usein niiden palvelemien kaupunkien yläpuolelle ja jotka on suunniteltu toimittamaan ihmisiä ja rahtia näihin väestökeskuksiin ja tarjoamaan ulospääsy kenelle tahansa ja kaikelle niille. Ne eivät korvaa olemassa olevia teitä niin paljon kuin täydentävät niitä nopeilla vaihtoehdoilla.
Se on tarkalleen mitä Apache Kafka tekee: se tarjoaa nopeat reitit tiedon siirtämiselle tietojärjestelmien välillä ja niiden välillä. Seuratakseen moottoritieanalogiaa, on edelleen monia yrityksiä, jotka käyttävät lineaarisia jonoja tai vanhaa ETL-standardia (uute-muuntaa-kuorma); mutta näillä reiteillä on alhaiset nopeusrajoitukset, ja on monia reikiä; lisäksi ylläpitokustannukset ovat usein kohtuuttomia; opasteet ovat huonoja.
Kafka tarjoaa vaihtoehtoisen tiedon toimittamistavan, joka on ehdottomasti reaaliaikainen, skaalautuva ja kestävä. Tämä tarkoittaa, että Kafka ei ole vain tiedonsiirtoväline, vaan myös tietojen kopioija; ja tietyssä määrin hajautettu tietokantatekniikka. Meidän pitäisi olla varovaisia ottamaan analogiaa liian pitkälle, koska ACID-yhteensopivissa tietokannoissa on ominaisuuksia, joita Kafka ei vielä urheile. Silti muutos on todellinen.
Tämä on hieno uutinen tietomaisemaan, koska tiedot voivat nyt liikkua vapaasti maassa - ja koko maailmassa. Aikaisemmin tuskallinen rajoitus, nimittäin eräajojen lyöminen ETL-prosesseihin, on nyt leviämässä paljon, koska sumu antaa mahdollisuuden puhdistaa taivas kuuman auringon häikäisyn alla. Kun tiedonsiirto järjestelmästä toiseen tulee rajaviivaiseksi, uusien mahdollisuuksien aikakausi koituu.
Ei vikoja, ei stressiä - vaiheittaiset ohjeet elämää muuttavien ohjelmistojen luomiseen tuhoamatta elämääsi
Et voi parantaa ohjelmointitaitojasi, kun kukaan ei välitä ohjelmiston laadusta.
Ihmiset edustavat todennäköisesti eniten kitkaa tiellä kohti uutta tulevaisuutta. Vanhat tavat kuolevat kovasti. Nary CIO on liian innoissaan tukku-muutosten tekemisestä yritysjärjestelmiin. Yksi taitava vanhempi johtaja roolista: "Ole valmis olemaan yksinäinen." Vuoden kuluessa kommentista hän oli konsultti. Se ei ole helppo polku, jolla yritetään hallita huomattavasti hankalaa yritystietojen maailmaa.
Hyvä uutinen on, että Kafka tarjoaa rampin tulevaisuuteen. Koska se toimii suuritehoisena, monipuolisena väylänä, se luo siltoja vanhojen järjestelmien ja niiden eteenpäin suuntautuvien vastaavien välille. Organisaatiot, jotka omaksuvat tämän uuden mahdollisuuden avoimesti ja riittävän budjetin omaavat, voivat siten astua uuteen maailmaan jättämättä vanhaa taaksepäin. Se on todella iso juttu.
Alas liiketoimintaan
Apache Kafka on avoimen lähdekoodin tekniikka, joka on ilmainen kenellekään ladattavaksi ja käytettäväksi. Tämän ohjelmiston LinkedIn: lle luoneet ihmiset ovat kehittäneet erillisen kokonaisuuden nimeltä Confluent, joka keskittyy tarjoamaan yrityksen tarjoamia tarjouksia. Aivan kuten Cloudera, Hortonworks ja MapR ovat rakentaneet liiketoimintaansa Apache Hadoopin avoimen lähdekoodin projektin ympärille, joten Confluent pyrkii ansaitsemaan Kafkan.
Äskettäisessä InsideAnalysis-haastattelussa Confluentin toimitusjohtaja ja perustaja Jay Kreps selitti sen alkuperää LinkedInissä:
"Yritimme ratkaista pari erilaista ongelmaa siellä. Yksi oli, että meillä oli kaikki nämä erilaiset tietojärjestelmät erityyppisillä tiedoilla. Meillä oli tietokantoja ja meillä oli lokitiedostoja, meillä oli tietoja palvelimista ja meillä oli käyttäjien napsauttamalla asioita. Kaikkien tietojen hankkiminen ympäri - kun se tuli isoksi - oli todella vaikeaa. Tietojen voima oli vain siinä, jos pystyit saamaan ne sovelluksiin tai käsittelyyn tai järjestelmiin, jotka sitä tarvitsivat. Se oli iso ongelma.
"Toinen ongelma, joka meillä oli, oli, että olimme omaksuneet Hadoopin, ja siihen olin mukana. Meillä oli tämä fantastinen offline-käsittelyalusta, jota voimme skaalata ja voimme laittaa kaikki tietomme sisään. LinkedInille kaikki tietomme tapahtuivat todellisuudessa Tietoja tuotettiin jatkuvasti. Tätä epäsuhtaa oli aina, kun yritimme rakentaa tärkeimmät liiketoiminnan osat pois tiedoistamme: välillä päivässä, ehkä öisin, ja seuraavan päivän tuloksissa, ja tällainen jatkuva data - lyhyet vuorovaikutusajat -, joihin jouduit kiinni. Halusimme pystyä tekemään jotain, joka oli ollut olemassa jo jonkin aikaa akateemisessa ympäristössä, mutta joka ei todellakaan ollut valtavirran asia, joka on kyky napauta ja käsittele datavirtoja heti, kun ne on luotu, eikä sellaisenaan. "
Hyvin. Se on tarkalleen mitä Confluent nyt haluaa tehdä kaiken muodon ja koon yritystietoihin. Mahdollisuus pelissä? Greenfield. Suoraan sanottuna koko yritysohjelmistojen historian aikana voidaan väittää, että tämän tekniikan osoitettavat markkinat vievät ehdottomasti kakun. Ei ole yhtä suurta organisaatiota tai edes tietoraskasta pienyritystä, joka ei voisi hyötyä tästä tekniikasta valtavasti.
Tämä pätee erityisesti tämän tekniikan neurologisiin näkökohtiin; ei vain mukana olevat mielet, mutta myös sen luonne, mitä Kafka tekee tietojärjestelmiin. Koska Kafkaa voidaan käyttää tiedonsiirron hallintaan koko organisaatiossa, sitä voidaan pitää enemmän kuin vain liikenteen poliisina, vaan pikemminkin itse toiminnan aivoina. Oli vision varhaisessa vaiheessa, mutta voitte olla varmoja, että se on todellinen.
Kuinka Kafka muuttaa tiedonhallintaa
Ymmärtääksesi kuinka Kafka muuttaa tiedonhallinnan luonnetta, ajattele vain tapoja, joilla LinkedIn on muuttanut verkottumista. Kollegoiden löytäminen on niin paljon helpompaa; yhteydenpito ihmisiin on nyt hetkellinen. Kafka tekee tietojärjestelmiin sen, mitä LinkedIn tekee liikemiehille: pitää heidät kytkettynä maapallon laajimmalle alueelle.
Confluentin leviäminen on vertauskuvalle jotain, jota voimme kutsua uudeksi innovaatioksi, liike, joka perustuu ohjelmistokehityksen ja suljetun lähdekoodin mentaliteetin erottamiseen, jota ohjaavat avoimen lähdekoodin tekniikan luojat ja jota ruokkivat suuret määrät riskipääomaa, jotka ansaitsivat rahaa. voittoa tavoittelemattomat yritykset, jotka pyrkivät mullistamaan sitä, miten organisaatiot ja ihmiset luovat, keräävät, analysoivat ja hyödyntävät tietoja.
Lainaakseni Franz Kafkaa: "Tietystä pisteestä eteenpäin ei enää ole kääntymistä takaisin. Se kohta, joka on saavutettava."
Olemme ohittaneet Rubiconin. Ei ole enää käänny takaisin.