Ottaa mukaan: Isäntä Rebecca Jozwiak keskustelee streaming-analytiikasta alan huippuosaajien kanssa.
Et ole tällä hetkellä kirjautunut sisään. Kirjaudu sisään tai kirjaudu sisään nähdäksesi videon.
Rebecca Jozwiak: Hyvät naiset ja herrat, tervetuloa tervetulleeksi vuoden 2016 kuumaan teknologiaan! Päivän otsikko on ”Firehose-järjestelmän hyödyntäminen: liiketoiminnan arvon saaminen Streaming Analyticsista.” Tämä on Rebecca Jozwiak. Olen toinen webcast-isännän komento aina, kun rakas Eric Kavanagh ei voi olla täällä, joten on hienoa nähdä niin monet teistä tänään siellä.
Tämä jakso on hiukan erilainen kuin muut. Puhuimme tavallaan siitä, mikä on kuuma ja tietysti tämä vuosi on kuuma. Useat viimeiset vuodet ovat olleet kuumia. Aina tulee uusia juttuja. Tänään puhumme streaming analytiikasta. Analysoinnin suoratoisto on tavallaan uusi. Tietenkin suoratoisto, keskustiedot, RFID-tiedot, nämä eivät ole välttämättä uusia. Mutta tietoarkkitehtuurien yhteydessä olemme keskittyneet niin levossa olevaan tietoon jo vuosikymmenien ajan. Tietokannat, tiedostojärjestelmät, tietovarastot - kaikki enimmäkseen eräkäsittelyä varten. Mutta nyt siirryttäessä luomaan arvoa tiedonsiirrosta, datatiedoista, jotkut kutsuvat sitä eläviksi virroiksi, ne todella vaativat virtapohjaisen arkkitehtuurin, eivät lepoarkkitehtuureissa olevaa tietoa, johon olemme tottuneet, ja sen on kyettävä siihen. käsittelee nopeaa nauttimista, reaaliaikaista tai melkein reaaliaikaista käsittelyä. Sen on kyettävä palvelemaan paitsi esineiden Internetiä myös kaiken Internetiä.
Tietenkin, ihannetapauksessa olisi kiva, jos molemmat arkkitehtuurit eläisivät vierekkäin, toiset peseisivät toisiaan niin sanotusti. Vaikka päivien, viikkojen ja vuosien vanhoilla tiedoilla on tietenkin edelleen arvoa, historiallista analysointia, trendianalyysiä, se on live-tietoa, joka ajaa elävää älykkyyttä nykyään, ja siksi streaming-analytiikasta on tullut niin tärkeä.
Puhun siitä enemmän tänään. Meillä on tietoteknikomme Dez Blanchfield, joka soittaa Australiasta. Hänelle on nyt aikaisin aamulla. Meillä on pääanalyytikko, tohtori Robin Bloor. Meihin liittyy Anand Venugopal, StreamAnalytix-tuotepäällikkö Impetus Technologies -yhtiössä. He ovat todella keskittyneet tämän tilan suoratoistoanalytiikkaan.
Aion mennä eteenpäin ja välittää sen Dezille.
Dez Blanchfield: Kiitos. Minun täytyy tarttua näytön hallintaan täällä ja siirtyä eteenpäin.
Rebecca Jozwiak: Ole hyvä.
Dez Blanchfield: Kun tartumme dioihin ylös, sallikaa minun vain kattaa keskeinen aihe.
Pidän sen melko korkealla tasolla ja pidän sen suunnilleen 10 minuutin ajan. Tämä on erittäin iso aihe. Osallistuin tapahtumaan, jossa vietimme kaksi tai kolme päivää sukeltamalla yksityiskohtiin siitä, mikä on streamin prosessointi ja nykyisissä kehitteissämme, mitä analytiikan tekemiselle noissa suuren volyymin virroissa pitäisi tarkoittaa.
Aiomme vain selventää, mitä tarkoitamme streaming analytiikalla, ja pohdimme sitten, voidaanko liiketoiminnan arvoa johtaa, koska juuri sitä yritykset etsivät. He haluavat saada ihmiset selittämään heille nopeasti ja ytimekkäästi. Mistä voin saada arvon soveltamalla jonkinlaista analytiikkaa streamitietoihimme?
Mitä streaming analytiikka on?
Analysoinnin suoratoisto antaa organisaatioille tavan hankkia arvoa suuren määrän ja nopeuden tiedoista, jotka he ovat tulleet liiketoiminnan kautta eri liikkeissä. Merkittävä ero tässä on se, että meillä on ollut pitkä historia analytiikan ja linssien ja näkemysten kehittämisessä datasta, jota olemme prosessoineet levossa vuosikymmenien ajan sen jälkeen kun keskusyksikkö keksittiin. Massiivinen paradigmamuutos, jota olemme nähneet viimeisen kolmen tai viiden vuoden aikana niin sanotussa web-mittakaavassa, on napauttaminen reaaliajassa tai melkein reaaliajassa saapuvaan datavirtaan, eikä vain käsittele ja etsi tapahtumien korrelaatiota tai tapahtuma laukaisee, mutta suorittaa todella yksityiskohtaisen ja perusteellisen analyysin näistä streamista. Se on merkittävä muutos siihen, mitä olemme tehneet aiemmin, joka on joko tietojen kerääminen, sijoittaminen jonkinlaiseen arkistoon, perinteisesti suuriin tietokantoihin, suuriin suuriin tietokehyksiin, kuten Hadoop-alustaan, ja erämoodikäsittelyn suorittaminen ja saaminen jonkinlainen käsitys.
Meillä on erittäin hyvää tehdä se nopeasti ja kokeilla paljon raskaata rautaa asioissa, mutta vangitsemme edelleen tietoja, tallennamme ja katsomme niitä ja saamme siitä jonkinlaisia oivalluksia tai analyysejä. Siirtymä näiden analytiikkojen suorittamiseen datan virtaamisen myötä on ollut hyvin uusi ja mielenkiintoinen kasvualue suurten tietojen ympärillä tapahtuville asioille. Se vaatii täysin erilaisen lähestymistavan vain kaapata, tallentaa ja käsitellä ja suorittaa analytiikkaa.
Yksi avaintekijöistä siirtymisessä ja keskittymisessä analytiikan suorittamiseen streamissa on, että voit saada merkittävää liikearvoa saamalla nämä oivallukset nopeammin ja helpommin, kun tiedot tulevat sinulle, kun tietoa asetetaan yrityksen saataville. Ajatuksella päivän lopun käsittelystä ei ole enää merkitystä tietyillä aloilla. Haluamme pystyä tekemään analyysiä lennossa. Päivän loppuun mennessä me jo tiedämme, mitä on tapahtunut niin kuin on tapahtunut sen sijaan, että päästämme päivän päätteeksi ja teemme 24 tunnin erätyö ja saamme nämä oivallukset.
Suoratoistoanalyysin tarkoituksena on napauttaa suoraan tähän virtaan, kun taas tietovirrat ovat yleensä useita erittäin suurten tietomäärien ja datan virtoja, jotka tulevat meille liikkeelle hyvin, hyvin nopeasti ja saavat näkemyksiä tai analytiikkaa näistä virroista, kun ne tulevat meille sijaan sallia, että se tulee ulos levossa, ja analysoida heitä.
Kuten mainitsin, meillä on ollut vuosikymmeniä ja vuosikymmeniä suorittamassa sitä, jota kutsun eräanalyysiksi. Olen laittanut todella hienon kuvan tähän. Tämä on kuva herrasmiesstä, joka seisoo pilkillisen tietokoneen edessä, jonka RAND Corporation on luonut elämänsä sitten, ja he katsoivat talossa olevan tietokoneen näyttävän siltä. Mielenkiintoista on, että jo silloinkin heillä oli tämä käsitys kaikista näistä pienistä valitsimista ja nämä valitsimet edustavat talosta tulevaa tietoa, jota käsitellään reaaliajassa ja kertovat sinulle mitä tapahtuu. Yksinkertainen esimerkki on joukko ilmanpainetta ja lämpötilaa, jonka näemme missä näemme mitä tapahtuu reaaliajassa. Mutta kuvittelen tuon jopa tuolloin, kun RAND Corporation kokosi pienen mallin, he todellakin miettivät tietojen käsittelyä ja analyyttisen suorittamista sille, koska se tulee stream-muodossa. En ole aivan varma, miksi he asettavat ohjauspyörän tietokoneelle, mutta se on aika siistiä.
Er: n keksinnästä lähtien meillä on ollut näkemys tietojen sieppaamisesta ja eräanalyysien suorittamisesta sille. Kuten olen sanonut suuressa muutoksessa nyt ja olemme nähneet tämän web-pelaajien tykkäämisistä, joita me kaikki tiedämme, he ovat kaikki kotitalousmerkkejä ja LinkedIn, että interaktiivinen käyttäytyminen, joka meillä on kyseisten sosiaalisten alustojen kanssa, vaatii Ei vain sieppausta, tallentamista ja sitten prosessointia eräajona, mutta ne myös vangitsevat ja ajavat analytiikkaa lennossa läpi tulevien tietovirtojen avulla. Lähettäessään jotain, heidän ei tarvitse vain siepata ja tallentaa ja tehdä jotain myöhemmin, vaan heidän on myös voitava laittaa se heti takaisin streamiini ja jakaa se muiden minua seuraavien ihmisten kanssa. Se on eräkäsittelymalli.
Miksi menisimme tällä reitillä? Miksi organisaatiot sijoittaisivat aikaa, vaivaa ja rahaa edes harkitsemaan haastetta pyrkiä alaspäin stream-analytiikan tielle? Organisaatioilla on tämä valtava halu saada suorituskykyä kilpailijoihinsa nähden aloilla, joilla he ovat, ja että suorituskyvyn voitto voidaan nopeasti toteuttaa yksinkertaisella stream-analyysillä ja se voi alkaa yksinkertaiselta, vain reaaliaikaisen tiedon seurannalta, jota olemme jo perehtynyt. Sain siellä pienen kuvakaappauksen Google Analyticsista. Tämä on todennäköisesti yksi ensimmäisistä kerroista, jolloin olemme todella saaneet käytännöllisen kuluttajaluokituksen analytiikan. Joten kun ihmiset vierailivat verkkosivustollasi ja saat nämä osumakerrat, kun verkkosivustosi alaosaan on upotettu pieni JavaScripti HTML-koodiin, nämä pienet koodit tehtiin reaaliajassa takaisin Googlelle ja ne olivat suorittaa analytiikkaa niille tietovirtoille, jotka tulevat verkkosivustosi jokaiselta sivulta, jokaiselta verkkosivustosi objektilta reaaliajassa, ja he palauttavat sen sinulle takaisin tällä todella suloisella pienellä verkkosivulla reaaliaikaisen kuvaajan, söpöjen pienten histogrammien ja rivin kojetaulussa kaavio, joka näyttää sinulle X-lukumäärän ihmisiä, jotka ovat menneet sivullesi historiallisesti, mutta tässä on kuinka monta heitä on tällä hetkellä.
Kuten näet kuvakaappauksesta, se sanoo 25 nyt. Sitä oli tällä hetkellä 25 ihmistä silloin, kun kuvakaappaus tehtiin. Se on ensimmäinen todellinen mahdollisuus, jota pelasimme kuluttajaluokan analytiikkatyökalulla. Uskon, että monet ihmiset todella saivat sen. He vain ymmärsivät voiman tietää mitä tapahtui ja kuinka he voivat vastata siihen. Kun ajatellaan avioniikan laajuutta, ympärillä lentäviä lentokoneita, pelkästään Yhdysvalloissa on 18 700 kotimaan lentoa päivässä. Luin paperia jonkin aikaa sitten - se oli noin kuusi tai seitsemän vuotta sitten -, että kyseisten lentokoneiden tuottaman datan määrä oli noin 200-300 megatavua vanhassa suunnittelumallissa. Nykyisissä ilma-alusten malleissa nämä ilma-alukset tuottavat noin 500 gigatavua dataa tai noin puoli teratavua dataa lentoa kohti.
Kun teet matematiikan erittäin nopeasti pään yläosasta, että 18 700 kotimaan lentoa 24 tunnin välein pelkästään Yhdysvaltojen ilmatilassa, jos kaikki nykyaikaiset lentokoneet tuottavat noin puoli teratavua, se on 43 - 44 petatavua dataa läpi ja se tapahtuu, kun koneet ovat ilmassa. Se tapahtuu, kun he laskeutuvat ja tekevät tiedonsiirtoja. Silloin kun he menevät kauppaan ja saavat suunnittelutiimiltä täydellisen tiedonsiirron tutkia, mitä tapahtuu laakereissa, pyörissä ja moottoreiden sisällä. Osa näistä tiedoista on käsiteltävä reaaliajassa, jotta he voivat tehdä päätöksiä siitä, onko todellinen ongelma lentokoneen ollessa ilmassa tai ollessaan maassa. Et voi vain tehdä sitä eräajona. Muilla teollisuudenaloilla, joita näemme siellä finanssi-, terveys-, valmistus- ja tekniikkakysymyksissä, he katsovat myös, kuinka he voivat saada tämän uuden käsityksen siitä, mitä reaaliajassa tapahtuu, sen sijaan, mitä vain tallennetaan tietokantoihin termi.
Tässä käsitteessä käsitellään myös tietoa, jota kutsun pilaantuvaksi tavaraksi tai herkästi pilaantuvaksi hyödykkeeksi - että suuri osa tiedoista menettää arvon ajan myötä. Tämä pätee yhä enemmän liikkuvuussovelluksiin ja sosiaalisen median työkaluihin, koska siihen, mitä ihmiset sanovat ja mikä on nyt trendi, on se, mihin haluat vastata. Kun mietit muita elämämme osia logistiikan ja elintarvikkeiden kuljetuksen kanssa, ymmärrämme pilaantuvan hyödykkeen käsitteen siinä mielessä. Mieti kuitenkin organisaatiosi läpi meneviä tietoja ja arvoa, jota sillä on. Jos joku tekee liiketoimintaa kanssasi tällä hetkellä ja voit olla vuorovaikutuksessa heidän kanssaan reaaliajassa, et halua odottaa tuntia, jotta tiedot voidaan kaapata ja laittaa Hadoopin kaltaiseen järjestelmään ja painaa sitten tätä painiketta, sinä ei pysty käsittelemään sitä nyt ja haluat pystyä tekemään sen heti asiakkaan pyynnöstä. Siellä on termi, jonka näet ponnahdusikkuna nyt, kun ihmiset puhuvat siitä, että sinulla on tämä reaaliaikainen tietovirta, joka voi antaa sinulle personoinnin, ja että personointi virittää käyttämäsi järjestelmä henkilökohtaiseen kokemukseesi. Joten kun osut esimerkiksi Google-hakutyökaluun, jos teen kyselyn ja teet saman kyselyn, aina emme saa täsmälleen samoja tietoja. Saamme pohjimmiltaan mitä viittaan kuuluisuuteen. Minua hoidetaan kertaluonteisesti. Saan oman henkilökohtaisen versioni näiden järjestelmien tapahtumista perustuu minuun keräämiin profiileihin ja tietoihin, ja pystyin analysoimaan reaaliaikaisesti streamissa.
Ajatus siitä, että tiedot ovat helposti pilaantuvia hyödykkeitä, on toistaiseksi todellinen asia, ja datan arvo, joka on ajan myötä vähentynyt, on jotain, joka meidän on käsiteltävä tänään. Se ei ole eilinen asia. Rakastan tätä kuvaa karhusta, joka tarttuu joesta hyppivälle lohelle, koska se todella maalaa tarkalleen sen, mitä näen streaming analytiikassa. Se on tämä massiivinen tiedonjohto, joka tulee meille, firehose jos haluat, ja karhu istuu puron keskellä. Se aikoo tehdä reaaliaikaista analyysiä ympärillä tapahtuvasta niin, että se voi suunnitella kykynsä siepata kyseinen kala ilmassa. Se ei ole kuin vain upottaminen streamiin ja tarttuminen siihen. Tämä juttu hyppää ilmaan ja sen on oltava oikeassa paikassa oikeaan aikaan kalan saaliiksi. Muuten hän ei saa aamiaista tai lounasta.
Organisaatio haluaa tehdä samoin tiedoillaan. He haluavat saada arvon nykyisestä liikkeessä olevasta suuresta tietomäärästä. He haluavat analysoida tietoja ja nopeita tietoja, joten kyse ei ole vain datan määrästä, vaan siitä, kuinka nopeasti se tulee tästä. Esimerkiksi turvallisuuden kannalta kaikki reitittimet, kytkimet, palvelimet, palomuurit ja kaikki tapahtumat, jotka tulevat niistä ja kymmenien tuhansien, ellei satojen tuhansien laitteiden kanssa, joissakin tapauksissa pilaantuvia tietoja. Kun ajattelemme sitä esineiden Internetissä ja teollisessa Internetissä, puhumme miljoonista ellei jopa miljardeista sensoreista, ja koska tietoja tulee läpi, joka suorittaa analytiikkaa, tarkastelemme nyt monimutkaisten tapahtumien käsittelyä sellaisella suuruusluokalla ja nopeudella, jota emme ole koskaan edes nähneet ja joudumme käsittelemään tätä tänään. Meidän on rakennettava työkalut ja järjestelmät sen ympärille. Se on todellinen haaste organisaatioille, koska toisaalta meillä on erittäin suuret brändit, jotka tekevät itse DIY: tä, leipovat sen itse, kun heillä on kyky tehdä se ja taitojoukot sekä tekniikka. Mutta keskimääräisen organisaation tapauksessa niin ei ole. Heillä ei ole taitoa. Heillä ei ole kapasiteettia tai aikaa tai edes rahaa investoida selvittämiseen. He kaikki pyrkivät kohti tätä melko reaaliaikaisen päätöksenteon käsitettä.
Käytä tapauksia, joita olen törmännyt, ja niitä on jokaisella laaja-alaisella alueella, jonka voitte kuvitella. Ihmiset istuvat ja kiinnittävät huomiota ja sanovat, kuinka voimme soveltaa joitain analyyttisiä tietoja virtatietoihimme? Puhumme web-laajuisista verkkopalveluista. Siellä on perinteisiä sosiaalisen median alustoja sekä verkkokauppaa ja vähittäiskauppaa - esimerkiksi sovelluksia. He kaikki yrittävät antaa meille tämän reaaliaikaisen julkkiskokemuksen. Mutta kun alamme enemmän teknologiapinopalveluita, puhelinpalveluita, ääntä ja videota, näen ihmisten kävelevän tekemässä FaceTimeä puhelimissa. Se vain räjähtää. Se hämmentää mielestäni sitä, että ihmiset pitävät puhelinta edessään ja puhuvat ystävänsä videovirralle sen sijaan, että pitäisivät sitä enää korvansa vieressä. Mutta he tietävät pystyvänsä tekemään sen ja sopeutuivat, ja he pitivät kokemuksesta. Näiden sovellusten ja niitä tarjoavien alustojen kehittämisen on suoritettava reaaliaikainen analyysi kyseiselle liikenteelle ja sen profiileille, jotta he voivat tehdä yksinkertaisia asioita, kuten reitittää kyseisen videon täydellisesti, jotta äänen laatu saamasi video on riittävä saadaksesi hyvän kokemuksen. Tällaista tietoa ei voi eräkäsitellä. Se ei tekisi reaaliaikaisesta videovirrasta toiminnallista palvelua.
Rahoitustransaktioissa on hallintohaaste. Ei ole oikein päästä päivän päätteeksi ja selvittää, että rikot lakia siirtämällä yksityisiä tietoja ympäri paikkaa. Australiassa meillä on erittäin mielenkiintoinen haaste, jossa yksityisyyteen liittyvien tietojen siirtäminen merelle on kielletty. Et voi viedä PID-tunnustani, henkilökohtaisia henkilökohtaisia henkilökohtaisia henkilökohtaisia henkilökohtaisia henkilökohtaisia tietojani merelle. Australiassa on lakeja estääkseen sitä tapahtumasta. Erityisesti rahoituspalvelujen tarjoajien, julkisten palveluiden ja virastojen, heidän on tehtävä kanssani reaaliaikaista analyysiä tietovirtoissaan ja ohjeissaan varmistaakseen, että se, mitä he tarjoavat minulle, ei poistu rannoilta. Kaikkien tavaroiden on pysyttävä paikallisesti. Heidän on tehtävä se reaaliaikaisesti. He eivät voi rikkoa lakia ja pyytää anteeksi myöhemmin. Petosten havaitseminen - se on melko selvä asia, josta kuulemme luottokorttitapahtumien yhteydessä. Mutta koska rahoituspalveluissa suoritettavat transaktiotyypit muuttuvat hyvin, hyvin nopeasti, on eräänlaisia asioita, jotka PayPal tekee ensin havaitsemalla petoksia reaaliajassa, kun raha ei liiku yhdestä asiasta toiseen, mutta se on rahoitusjärjestely järjestelmien välillä. Ebay tarjousympäristöt, petosten havaitseminen on tehtävä reaaliajassa suoratoimistossa.
Nyt on suuntaus siirtyä suorittamaan uutto ja muuttamaan latausaktiviteettia streamissa, joten emme halua kaapata mitään streamiin menevää. Emme voi oikeasti tehdä sitä. Ihmiset ovat oppineet, että tiedot haluavat rikkoa todella nopeasti, jos kaappaamme kaiken. Temppu on nyt suorittaa analyysiä näille virroille ja tehdä ETL siinä ja vain kaapata tarvitsemasi, mahdollisesti metatiedot, ja ajaa sitten ennakoivaa analysointia, missä voimme tosiasiallisesti sitten kertoa, mitä tapahtuu, hieman kauempana polkuista, mitä me olemme juuri nähneet streamissä sen perusteella tekemämme analyysin perusteella.
Energia- ja yleishyödyllisten palvelujen tarjoajat kokevat tämän kuluttajien valtavan halun kysynnän hinnoittelusta. Saatat päättää, että haluan ostaa vihreää voimaa yhdellä tietyllä kellonaikana, koska olen vain kotona yksin ja enkä käytä paljon laitteita. Mutta jos minulla on illallinen, haluan ehkä, että kaikki laitteet ovat päällä, en halua ostaa halpaa virtaa ja odottaa sen toimittamista, mutta haluaisin maksaa lisää kustannuksia saadakseen tämän virran. Tämä kysynnän hinnoittelu etenkin yleishyödyllisissä palveluissa ja energiatiloissa on jo tapahtunut. Esimerkiksi Uber on klassinen esimerkki asioista, joita voit tehdä joka päivä, ja kaiken ohjaa kysynnän hinnoittelu. On joitain klassisia esimerkkejä siitä, että Australiassa ihmiset saavat 10 000 dollarin hinnat, koska uudenvuodenaattona valtava kysyntä. Olen varma, että he ovat käsitelleet tätä asiaa, mutta stream-analytiikka suoritetaan reaaliajassa autossa ollessani autossa sanomalla, kuinka paljon minun pitäisi maksaa.
Asioiden Internet ja anturivirrat - olemme vain raaputtaneet pintaa tästä ja olemme todella käyneet juuri peruskeskustelua tästä, mutta näemme mielenkiintoisen muutoksen tekniikan käsittelemisessä, koska kun puhut vain noin tuhansia tai kymmeniä tuhansia, mutta satoja tuhansia ja mahdollisesti miljardeja laitteita, jotka virtaavat sinulle, melkein mikään nykyisistä tekniikkapinoistamme ei ole suunniteltu selviytymään siitä.
Paikalla on joitain todella kuumia aiheita, kuten turvallisuus ja verkkoriski. Ne ovat meille erittäin todellisia haasteita. Verkossa on todella siisti työkalu nimeltään Pohjois, jossa voit istua ja katsella verkkosivulla erilaisia reaaliajassa tapahtuvia kyberhyökkäyksiä. Kun tarkastelet sitä, luulet "Voi, se on mukava söpö pieni verkkosivusto", mutta noin viiden minuutin kuluttua siellä huomaat, kuinka paljon tietoa järjestelmästä analysoi kaikkien eri laitteiden ympäri maailmaa. joita ruokitaan heille. Se alkaa häiritä mieltä siitä, kuinka he suorittavat kyseisen levyn reunalla ja tarjoavat sinulle yksinkertaisen pienen näytön, joka kertoo mitä tai jotain muuta hyökkää sitä reaaliajassa ja millaisia hyökkäyksiä. Mutta se on todella siisti pieni tapa saada vain hyvä maku siitä, mitä stream-analytiikka voi sinulle tehdä reaaliajassa seuraamalla tätä sivua ja saaksesi käsityksen pelkästään äänenvoimakkuudesta ja haasteesta, joka liittyy streamien käsittelyyn, käsittelyyn analytiikkakyselyihin heitä ja edustavat sitä reaaliajassa.
Uskon, että keskusteluani, jonka minulla on lopun istunnon ajan, on tarkoitus käsitellä kaikkia näitä tyyppejä yhdellä mielenkiintoisella näkökulmalla, ja se on DIY: n haaste, leipoa se itse, sopii joihinkin klassiset yksisarviset, joilla on varaa rakentaa tällaisia asioita. He ovat saaneet miljardeja dollareita rakentaakseen nämä suunnittelutiimit ja rakentamaan tietokeskuksia. Mutta 99,9%: lle organisaatioista, jotka haluavat tuottaa arvoa stream-analytiikan liiketoiminnassaan, heidän on saatava hyllypalvelu. Heidän on ostettava tuote laatikosta, ja he yleensä tarvitsevat konsultointipalvelua ja ammattitaitoista palvelua auttaakseen heitä toteuttamaan sen. He saavat arvon takaisin liiketoiminnassa ja myyvät sen yritykselle toimivana ratkaisuna.
Aion palauttaa tämän teille, Rebecca, koska uskon, että juuri sitä aiomme nyt käsitellä yksityiskohtaisesti.
Rebecca Jozwiak: Erinomainen. Kiitos paljon, Dez. Se on hieno esitys.
Nyt annan pallon Robinille. Ota se pois.
Robin Bloor: Okei. Koska Dez on joutunut suoravirtaisten prosessointien kurjaan rakeiseen osaan, minusta ei ollut mitään järkeä peittää sitä uudestaan. Joten otan vain täysin strategisen näkemyksen.Tarkastellaan melkein erittäin korkealta tasolta, mitä helvettiä tapahtuu, ja sijoitan sen, koska mielestäni se saattaa auttaa ihmisiä, etenkin meitä ihmisiä, joita ei ole leiritetty virtojen käsittelyyn suurella syvyydellä ennen.
Virrankäsittely on ollut olemassa jo pitkään. Kutsuimme sitä aiemmin CEP: ksi. Ennen sitä oli olemassa reaaliaikaisia järjestelmiä. Alkuperäiset prosessinohjausjärjestelmät todella prosessoivat tietovirtoja - tietysti mikään ei mennyt niin pitkälle kuin nykyään. Tämä grafiikka, jonka näet diassa täällä; se tuo esiin monia asioita tosiasiallisesti, mutta se osoittaa kaiken muun lisäksi ja yli - tosiasian, että täällä on erilaisia viiveitä, jotka näkyvät eri väreissä. Se mitä tapahtui tietotekniikan tai kaupallisen laskennan keksinnän jälkeen, joka saapui aivan 1960-luvulla, on, että kaikki on vain noussut. Aikaisemmin pystyimme olemaan riippuvaisia siitä, miten tämä todella tapahtui, jos pidät aalloista, koska se näyttää siltä. Tämä todella riippuu siitä. Koska kaiken ohjasi Mooresin laki ja Mooresin laki antaisi meille kertoimen, joka on noin kymmenen kertaa nopeampi noin kuuden vuoden aikana. Sitten kun olemme tosiasiallisesti päässeet noin vuoteen 2013, kaikki rikkoi, ja aloimme yhtäkkiä kiihtyä nopeudella, jota emme ole koskaan, mikä on omituisen ennennäkemätöntä. Saimme noin kymmenen kertoimen nopeuden lisääntymisen ja siten viiveen vähentymisen suhteen joka kuusi vuotta. Noin vuodesta 2010 lähtien kuluneiden kuuden vuoden aikana meillä on vähintään tuhannen kerrannainen. Kolme suuruusluokkaa yhden sijaan.
Sitä on tapahtunut, ja siksi teollisuus näyttää tavalla tai toisella liikkuvan fantastisella nopeudella - koska se on. Vain läpi tämän nimenomaisen kuvan merkityksen vasteajat ovat muuten tosiasiassa algoritmisessa mittakaavassa pystyakselin alapuolella. Reaaliaika on tietokoneen nopeus, ihmisiä nopeampi. Interaktiiviset ajat ovat oransseja. Se on silloin, kun olet vuorovaikutuksessa tietokoneen kanssa, missä haluat todella kymmenesosa - noin sekunti viivettä. Yllä on tapahtuma, jossa me todella ajattelemme mitä teet tietokoneella, mutta jos se sammuu noin viidentoista sekunnin kuluttua, siitä tulee sietämätöntä. Ihmiset todella eivät vain odota tietokonetta. Kaikki tehtiin erissä. Monet asiat, jotka tehtiin erässä, ovat tulossa nyt suoraan transaktiotilaan, suoraan interaktiiviseen tilaan tai jopa reaaliaikaiseen tilaan. Kun aikaisemmin aaltoileva, jolla oli hyvin pieniä tietomääriä, voimme tehdä osan tästä, nyt voimme tehdä erittäin suurilla tietomäärillä käyttämällä erittäin mitoitettua ympäristöä.
Joten pohjimmiltaan kaikki nämä sanovat olevan todella tapahtuma ja interaktiivinen ihmisen vastausaika. Kaudella paljon siitä, mitä virroilla tällä hetkellä tehdään, on ihmisille tiedottaminen asioista. Osa siitä menee nopeammin ja tiedottaa asioita hyvin, joten se on reaaliaikainen. Sitten otamme lisenssin pudota vain kuin kivi, jolloin välitön analysointi on mahdollista ja muuten melko kohtuuhintaista. Se ei ole vain nopeuden laskua, vaan myös yläosa on romahtanut. Todennäköisesti suurin vaikutus näihin kaikkiin kaikista sovelluksista, voit tehdä kaikki nämä ennustavat analytiikat. Kerron sinulle miksi minuutissa.
Tämä on vain rautakauppa. Sinulla on rinnakkaisohjelmisto. Puhumme vuonna 2004. Skaalattava arkkitehtuuri, moniytimiset sirut, muistin lisäys, konfiguroitava CPU. SSD-levyt menevät nyt paljon nopeammin kuin kehruukiekko. Voit melko paljon aalto kehruu levy hyvästellä. SSD-levyt ovat myös useassa ytimessä, joten taas nopeammin ja nopeammin. Pian ilmestymään, olemme saaneet muistikirjan HP: ltä. Meillä on 3D XPoint Inteliltä ja Micronilta. Niiden lupaus on, että se saa kaiken kuitenkin kulkemaan nopeammin ja nopeammin. Kun todella ajattelet kahta uutta muistitekniikkaa, jotka molemmat tekevät kokonaisuudesta pienen osan, yksittäinen piirilevy menee nopeammin, emme ole edes nähneet sen loppua.
Streams-tekniikka, joka on todella seuraava, on täällä jäädäkseen. Siellä on oltava uusi arkkitehtuuri. Tarkoitan, että Dez on eräänlainen maininnut tämän esityksessään useissa kohdissa. Vuosikymmenien ajan tarkastelimme arkkitehtuuria yhdistelmänä tietokasoja ja dataputkia. Meillä oli tapana käsitellä kasoja ja pyrkimme putkistamaan tietoja kasojen välillä. Olemme siirtymässä perusteellisesti kohti sitä, jota kutsumme Lambda-tietoarkkitehtuuriksi, joka yhdistää tietovirtojen käsittelyn ja datakerojen kanssa. Kun käsittelet tosiasiallisesti tulevaa tapahtumavirtaa vastaamaan historiallista dataa tietovirrana tai tietokasana, tarkoitan sitä Lambda-arkkitehtuurilla. Tämä on vasta alkuvaiheessa. Se on vain osa kuvaa. Jos pidät jotain niin monimutkaista kuin Internet kaikesta, jonka Dez on myös maininnut, huomaat tosiasiassa, että tiedon sijaintipaikkaan liittyy kaikenlaisia ongelmia - päätöksiä siitä, mitä sinun tulisi käsitellä streamissä.
Asia, jonka sanon täällä, on se, että käsitellessämme eräajona oikeasti prosessoimme virtauksia. Emme vain pystyneet tekemään sitä yksi kerrallaan. Odotamme vain, kunnes siellä on iso kasa tavaraa, ja käsittelemme sen sitten kaikki kerralla. Olemme siirtymässä tilanteeseen, jossa todella pystymme käsittelemään streamin sisältöä. Jos pystymme käsittelemään streamissä olevia tavaroita, niin pitämämme datakeroista tulee staattista dataa, johon meidän on viitattava, jotta voimme käsitellä streamissa olevia tietoja.
Tämä vie meidät tähän erityiseen asiaan. Olen maininnut tämän aiemmin jossain biologisen analogian esityksessä. Tapa, jonka haluaisin sinun ajattelevan, on tällä hetkellä ihmisiä. Meillä on kolme erillistä verkkoa reaaliaikaiseen ennakoivaan käsittelyyn. Niitä kutsutaan somaattisiksi, autonomisiksi ja enteerisiksi. Enteerinen on vatsasi. Autonominen hermosto huolehtii taistelusta ja lennoista. Se itse asiassa huolehtii nopeista reaktioista ympäristöön. Somaattiset, jotka huolehtivat kehon liikkumisesta. Ne ovat reaaliaikaisia järjestelmiä. Mielenkiintoinen asia siinä - tai mielestäni on sellainen mielenkiintoinen - on, että monet niistä ovat ennakoivampia kuin mitä koskaan voisi kuvitella. Tuntuu siltä, että katsot todella näyttöä, joka on noin 18 tuumaa kasvoista. Kaikki mitä näet selvästi, kaikki mitä kehosi pystyy näkemään selvästi, on itse asiassa noin 8 × 10 suorakulmio. Kaikki tämän ulkopuolella on todella hämärtynyt kehosi suhteen, mutta mielesi tosiasiallisesti täyttää aukot ja tekee siitä epäterävän. Et näe ollenkaan hämärtymää. Näet sen selvästi. Mielesi todella tekee ennustavaa menetelmää tietovirrasta voidaksesi nähdä selvyyden. Se on eräänlainen utelias asia, mutta voit tosiasiallisesti tarkastella hermostojärjestelmän toimintaa ja tapaa, jolla onnistumme kiertämään ja käyttäytymään kohtuullisesti - ainakin jotkut meistä - kohtuullisen järkevästi ja olematta kimpussa asioihin koko ajan.
Se kaikki tehdään hermoanalyysiasteikolla, joka on täällä. Mitä tapahtuu on, että organisaatioilla tulee olemaan samanlaista asiaa ja rakennetaan samanlaista asiaa, ja se tulee olemaan prosessien käsittely, mukaan lukien organisaation sisäiset virrat - asiat, jotka tapahtuvat sisällä se, asiat, jotka tapahtuvat sen ulkopuolella, välittömät vastaukset, jotka todella on tehtävä, tietysti ruokkivat ihmistä tekemään päätöksiä, jotta nämä kaikki tapahtuisi. Siellä olemme menossa, sikäli kuin näen.
Yksi niistä seurauksista, että suoratoistosovelluksen taso menee hyvin. Tulee olemaan kauhean paljon enemmän kuin näemme nyt. Tällä hetkellä poimimme matalalla hedelmää tehdä selviä asioita.
Joten joka tapauksessa tämä on johtopäätös tästä. Analysoinnin suoratoisto on kerran oma markkinarako, mutta siitä on tulossa yleistä ja se otetaan pian käyttöön yleisesti.
Annan sen takaisin Rebeccaan.
Rebecca Jozwiak: Kiitos paljon, Robin. Upea esitys tavalliseen tapaan.
Anand, olet ylös seuraavaan. Lattia on sinun.
Anand Venugopal: Fantastinen. Kiitos.
Nimeni on Anand Venugopal ja olen StreamAnalytixin tuotepäällikkö. Se on tuote, jonka tarjoaa Impetus Technologies, Los Gatos, Kalifornia.
Impetuksella on ollut todella suuri historia ollessaan iso dataratkaisujen toimittaja suurille yrityksille. Joten olemme tosiasiallisesti suorittaneet useita streaming-analytiikan toteutuksia palveluyrityksenä ja saaneet paljon oppia. Vaihimme myös pariksi viimeksi kuluneeksi vuodeksi tuote- ja ratkaisuvetoiseksi yritykseksi, ja stream-analytiikka on vastuussa muutoksesta Impetuksen muuttamiseksi suurelta osin tuotevetoiseksi yritykseksi. On joitain kriittisiä, erittäin, erittäin tärkeitä hyödykkeitä, jotka Impetus selvitti yrityksille altistamisen ansiosta, ja StreamAnalytix on yksi niistä.
Olemme liiketoiminnassa 20 vuotta ja siellä on loistava valikoima tuotteita ja palveluita, jotka tekevät meistä valtavan edun. Ja StreamAnalytix syntyi kaikista oppista, jotka opimme viidestä tai kuudesta ensimmäisestä suoratoiston toteutuksesta.
Käsittelen muutamia asioita, mutta analyytikot Dez ja Robin ovat tehneet upeaa työtä peittämällä koko tilan, joten aion ohittaa paljon sisällön, joka on päällekkäistä. Menen todennäköisesti nopeasti. Näemme todellisten suoratoistotapausten lisäksi paljon vain eräkiihdytystä, kun yrityksissä on kirjaimellisesti erittäin tärkeitä eräprosesseja. Kuten voitte nähdä, koko tapahtuman havaitsemisen ja sen analysoinnin ja siihen toimimisen jakso voi todellakin viedä viikkoja suurissa yrityksissä, ja he kaikki yrittävät kutistaa sen minuutteihin ja joskus sekunteihin ja millisekuntiin. Joten kaikki, jotka ovat nopeampia kuin kaikki nämä eräprosessit, ovat yrityksiä yritykseksi hankkimiseen, ja se on hyvin, että datan arvo vähenee dramaattisesti sen iän myötä, joten mitä enemmän arvoa alkuperäisellä osuudella on sekunneissa, että juuri tapahtui. Ihannetapauksessa, jos voisit ennustaa, mitä tapahtuu, se on suurin arvo. Se riippuu kuitenkin tarkkuudesta. Seuraava korkein arvo on, kun se on siellä, kun se tapahtuu, voit analysoida sitä ja vastata. Arvo tietysti vähenee dramaattisesti sen jälkeen, tärkein rajoittava BI, jota olemme käyttäneet.
Se on kiinnostavaa. Saatat odottaa dramaattisesti tieteellistä vastausta miksi streaming analytics. Monissa tapauksissa näemme sen johtuvan siitä, että se on nyt mahdollista ja koska kaikki tietävät, että erä on vanha, erä on tylsää ja erä ei ole siisti. Kaikilla on nyt koulutusta tarpeeksi siitä, että suoratoisto on mahdollista ja jokaisella on nyt Hadoop. Nyt Hadoop-jakeluissa on upotettu suoratoistotekniikka, olipa kyseessä Storm- tai Spark-suoratoisto ja tietysti jonot, kuten Kafka jne.
Näkemämme yritykset hyppäävät siihen ja alkavat kokeilla näitä tapauksia, ja näemme kaksi laajaa luokkaa. Yhdellä on jotain tekemistä asiakasanalyysien ja asiakaskokemuksen kanssa ja toisella operatiivisella tiedolla. Tutkin joitain yksityiskohtia siitä vähän myöhemmin. Koko asiakaspalvelun ja asiakaskokemuksen näkökulma, ja me, Impetus StreamAnalytixillä, olemme tehneet tämän monilla eri tavoilla, on todella kyse tosiasiasta, todella kaappaamalla kuluttajan monikanavainen sitoutuminen reaaliajassa ja antamalla heille erittäin, erittäin arkaluontoisia kokemuksia jotka eivät ole nykyään yleisiä. Jos selaat verkossa, Bank of America -sivustolla ja tutkit joitain tuotteita ja soitat vain puhelinkeskukseen. Sanoisiko he: "Hei Joe, tiedän, että tutkit joitain pankkituotteita, haluaisit minun täyttävän sinut?" Et odota sitä tänään, mutta se on sellainen kokemus, joka on todella mahdollista streaming-analytiikan avulla. Monissa tapauksissa sillä on valtava ero, varsinkin jos asiakas aloitti tutkimuksen tapoista päästä eroon kanssasi tekemästään sopimuksesta etsimällä verkkosivustollesi ennenaikaisia irtisanomislausekkeita tai varhaissuhteen ehtoja ja soittaa sitten sinulle, ja et voi ota suoraan yhteyttä heihin siitä, mutta tee vain epäsuorasti tarjous jonkinlaisesta ensimmäisestä ylennyksestä, koska järjestelmä tietää, että tämä henkilö etsii varhaista irtisanomista ja kun teet tarjouksen tuolloin, voisit hyvinkin suojella tätä houkuttelevaa asiakasta ja suojata kyseistä omaisuutta .
Se olisi yksi esimerkki, ja monet asiakaspalvelut ovat kaikki erittäin hyviä esimerkkejä. Toteutamme tänään alentaa kustannuksia puhelinkeskuksessa ja tarjoaa dramaattisesti ilahduttavia asiakaskokemuksia. Dez teki hienoa työtä tiivistämällä joitain käyttötapauksia. Voit tuijottaa tätä kaaviota muutama minuutti. Luokittelin sen pystysuoraksi, vaakasuoraksi ja yhdistelmäalueeksi, IoT: ksi, mobiilisovellukseksi ja puhelinkeskukseksi. Ne ovat kaikki pysty- ja vaakatasoja. Se riippuu siitä, kuinka katselet sitä. Bottom line, näemme paljon horisontaalisia käyttötarkoituksia, jotka ovat melko yleisiä teollisuudenaloilla, ja on olemassa vertikaalisia erityiskäyttötapauksia, mukaan lukien rahoituspalvelut, terveydenhuolto, televiestintä, valmistus jne. Jos kysyt itse itseltäsi kysymystä tai kerrot itsellesi että ”voi, en tiedä mitä käyttötapauksia on olemassa. En ole varma, onko streaming-analytiikalla todella mitään arvoa yritykselleni tai yrityksellemme ”, ajattele voimakkaasti, ajattele kahdesti. Keskustele muiden ihmisten kanssa, koska yrityksessäsi on käyttötapauksia, jotka ovat ajankohtaisia. Tutkin yrityksen arvoa siitä, kuinka yrityksen arvo tarkalleen johdetaan.
Täällä olevan pyramidin alaosassa on ennakoiva ylläpito, turvallisuus, vaihtosuojaus jne. Tällaiset käyttötapaukset muodostavat tulojen ja omaisuuden suojan. Jos Target suojaa heidän tietoturvaloukkauksiaan, joita tapahtui tuntien ja viikkojen ajan, CIO olisi voinut pelastaa työpaikkansa. Se voisi säästää kymmeniä tai satoja miljoonia dollareita jne. Reaaliaikainen suoratoistoanalytiikka todella auttaa suojaamaan näitä varoja ja tappioita. Se on suora liiketoiminnan lisäarvo siellä.
Seuraava luokka on tulossa kannattavammaksi, alentaen kustannuksiasi ja saamaan enemmän tuloja nykyisestä toiminnasta. Se on nykyisen yrityksen tehokkuutta. Nämä ovat kaikki käyttötapausryhmiä, joita kutsumme reaaliaikaiseksi operatiiviseksi tiedusteluksi, jolloin saat syvällistä tietoa siitä, kuinka verkko toimii, miten asiakkaasi toiminnot käyttäytyvät, miten liiketoimintaprosessisi käyttäytyvät ja pystyt säätämään kaikki tämä reaaliajassa, koska saat palautetta, saat hälytyksiä. Saat häiriöitä, variaatioita reaaliajassa ja voit nopeasti toimia ja erottaa prosessin, joka poistuu rajoista.
Voit säästää myös paljon rahaa kalliissa pääoman päivityksissä ja asioissa, jotka pidät tarpeellisina ja jotka eivät välttämättä ole tarpeen, jos optimoit verkkopalvelun. Kuulimme tapauksesta, jossa merkittävä puhelin lykkäsi 40 miljoonan dollarin päivitystä verkkoinfrastruktuuriinsa, koska he huomasivat, että heillä oli tarpeeksi kapasiteettia hallita nykyistä liikennettä, eli optimoimalla ja tehostamalla heidän liikenteen ja vastaavien älykästä reititystä. Ne ovat kaikki mahdollisia vain jollain reaaliaikaisella analyysillä ja toimintamekanismilla, joka vaikuttaa näihin oivalluksiin reaaliajassa.
Seuraava lisäarvon taso on up-sell, cross-sell, missä on mahdollisuuksia saada enemmän tuloja ja voittoja nykyisistä tarjouksista. Tämä on klassinen esimerkki, jonka monet meistä tietävät kokeneistaan tilanteista, joissa ajattelet elämäsi aikana, missä olet valmis ostamaan tuotteen, jota ei tarjota sinulle tänään. Monissa, monissa tapauksissa niin todella tapahtuu. Sinulla on mielessäsi asioita, joista haluat ostaa, jotka tiedät haluavasi ostaa, että sinulla on tehtäväluettelo tai jotain, mitä vaimosi kertoi sinulle tai jos sinulla ei ole vaimoa, mutta todella halusit ostaa ja menet joko ostoksille verkkosivustolle tai olet tekemisissä vähittäiskaupan kanssa, myymälällä ei vain ole huijausta, sillä ei ole älykkyyttä laskeaksesi mitä tarvitset. Siksi he eivät saa liiketoimintaa turvassa. Jos streaming-analytiikkaa voitaisiin käyttää todella tarkkojen ennusteiden tekemiseen ja jotka ovat todella mahdollisia siinä, mikä sopisi parhaiten tähän tiettyyn huijariin, tällä asiakkaalla tällä hetkellä tässä paikassa, on paljon ylösmyyntiä ja ristiinmyyntiä ja se tulee jälleen virtausanalyysi - mahdollisuus tehdä taipumuspäätös siitä, mitä tämä asiakas todennäköisesti ostaa tai vastaa siihen totuuden hetkellä, kun siellä on mahdollisuus. Siksi rakastan sitä kuvaa, jonka Dez näytti karhun kanssa juuri syövän tuota kalaa. Se on melko paljon.
Katsomme myös, että siellä on suuri luokka dramaattisista, muutoksellisista muutoksista yrityksessä, joka tarjoaa täysin uusia tuotteita ja palveluita, jotka perustuvat yksinkertaisesti asiakaskäyttäytymisen havaitsemiseen, kaikki perustuvat toisen yrityksen käyttäytymisen havaitsemiseen. Jos sanotaan, että puhelin- tai kaapeliyhtiö todella tarkkailee asiakkaiden käyttötapoja sillä markkinasegmentillä, mitä ohjelmaa milloin käyttää, jne., He lopulta luovat tuotteita ja palveluita, joita lähes kerätään sillä jollain tavalla. Joten koko moninäyttökäyttäytymisen käsite juuri nyt, jossa olemme nyt melkein itsestään selviä, että näemme televisiossa tai kaapelisisällössä mobiilisovelluksissamme. Jotkut näistä esimerkeistä ovat peräisin niistä uusista tuotteista ja palveluista, joita meille tarjotaan.
Siirryn kysymykseen: "Mitkä ovat streaming analytiikan arkkitehtuurin näkökohdat?" Se on viime kädessä sitä, mitä yritämme tehdä. Tämä on Lambda-arkkitehtuuri, jossa sekoitat historiallista tietoa ja reaaliaikaisia oivalluksia ja näet sen samanaikaisesti. Sitä Sigma mahdollistaa. Meillä kaikilla on tänään eräarkkitehtuuri ja yrityskuva. Valitsemme jonkinlaista BI-pinoa ja käyttöpinoa ja lisättyä Lambda-arkkitehtuuria. Koska nopeuskerros tai tarve ja Lambda on kyse näiden kahden oivalluksen yhdistämisestä ja sen näkemisestä yhdistetyllä tavalla, rikkaalla tavalla, joka yhdistää molemmat oivallukset.
Ehdotettu on toinen Kappa-arkkitehtuuri nimeltään paradigma, jossa arvellaan, että nopeuskerros on ainoa syöttömekanismi, joka jatkuu pitkällä aikavälillä. Kaikki tulee läpi tämän nopeuskerroksen. Ei ole olemassa edes offline-ETL-mekanismia. Kaikki ETL tapahtuu. Puhdistus, tietojen puhdistus, laadukas ETL - kaikki tämä tapahtuu johdolla, koska pidä mielessä, että kaikki tiedot syntyivät reaaliajassa. Jossain vaiheessa se oli reaaliaikaista. Olemme tottuneet laittamaan tämän järville, joille ja valtamerelle ja tekemään sen sitten staattisella analyysillä, että unohdimme datan syntyneen jossain vaiheessa reaaliajassa.Kaikki tiedot ovat tosiasiallisesti syntyneet reaaliaikaisena tapahtumana, joka tapahtui ajankohtana, ja suurin osa nykyisen järven tiedoista vain asetettiin tietokantaan myöhempää analyysiä varten, ja meillä on nyt Lambda- ja Kappa-arkkitehtuurissa se etu, että sen näkeminen, analysointi, esikäsittely ja reagointi siihen saapuessaan. Juuri nämä tekniikat mahdollistavat sen. Kun tarkastelet sitä kokonaiskuvana, se näyttää jotain tällaista, missä Hadoop on, MPP: t ja jo olemassa olevat tietovarastot.
Laadimme tämän, koska on tärkeää, ettei puhuta pelkästään uusista tekniikoista saarella. Heidän on integroitava. Niiden on oltava järkeviä nykyisessä yritystoiminnassa, ja yrityksiä palvelevina ratkaisuntoimittajina olemme erittäin herkkiä tälle. Autamme yrityksiä integroimaan kaiken asian. Vasemmalla puolella on tietolähteitä, jotka syöttävät sekä Hadoop- että tietovarastokerroksia sekä reaaliaikaista kerrosta, ja jokainen näistä entiteetteistä on varastotietokoneita, kuten voit nähdä, ja tietojen kulutuskerros on oikealla puolella. Pyrimme jatkuvasti siirtämään suurimman osan säännöstenmukaisuudesta, hallinnosta, turvallisuudesta, elinkaarien hallinnasta jne., Jotka ovat nykyään saatavilla, kaikki on hyödynnetty tähän uuteen tekniikkaan.
Yksi stream-analytiikan yrittämistä asioista. Jos tarkastellaan maisemaa tänään, streaming-tekniikan maastossa tapahtuu paljon asioita, ja yritysasiakkaiden kannalta on niin paljon ymmärrettävää. Siellä on niin paljon pysymistä. Vasemmalla puolella on tiedonkeruumenetelmiä - NiFi, Logstash, Flume, Sqoop. Olen tietysti antanut vastuuvapauslausekkeen, jonka mukaan se ei ole tyhjentävä. Tulossa jonoihin ja sitten sisään avoimen lähdekoodin suoratoistokoneisiin - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Heron ei todennäköisesti ole vielä avoimen lähdekoodin. En ole varma, onko se, mistä. Ne streaming-moottorit johtavat sitten asetukseen tarkoitettuun analyyttiseen sovelluskomponenttiin, kuten monimutkaiseen tapahtumien käsittelyyn, koneoppimiseen, ennustavaan analytiikkaan, hälytysmoduuliin, streaming ETL: ään, rikastustilastotoimintojen suodattimiin. Niitä kutsumme nyt operaattoreiksi. Niiden operaattoreiden joukosta, jotka on narrattu yhteen, voisi mahdollisesti olla myös jotakin tapaa, joka tarvittaessa pääosin päättyy, tulee streaming-sovellukseksi, joka toimii streaming-moottorilla.
Osana tätä komponenttiketjua sinun on myös tallennettava ja indeksoitava tiedot suosikkitietokantaasi, suosikkihakemistoosi. Saatat joutua levittämään välimuistin ja jälleen sen, joka johtaa tietovisuaalikerrokseen yläosassa oikealla puolella kaupallisiin tuotteisiin tai avoimen lähdekoodin tuotteisiin, mutta viime kädessä tarvitset jonkinlaista tuotetta tämän kuvan visualisoimiseksi reaaliajassa. Lisäksi sinun on joskus hahmotettava muita sovelluksia. Olemme kaikki nähneet, että arvot, jotka johdetaan vain tekemästäsi käsityksestä, kyseinen toiminta tulee laukaisemaan analyyttisestä pinosta toiseen sovelluspinoon, joka ehkä muutti jotain IVR-puolella tai laukaisee puhelinkeskuksen lähtevä puhelu tai jotain sellaista. Meillä on oltava nämä järjestelmät integroituna ja jokin mekanismi streaming-klusterillesi, jotta ne käynnistävät muut datan sisällyttämistä koskevat sovellukset loppupäässä.
Se on kokonaispino siirtymästä vasemmalta oikealle. Sitten sinulla on palvelutasot, keskimmäinen valvonta, yleinen tietoturvapalvelukerros jne. Minkälaisia tuotteita asiakkaat näkevät yritystilassa, kuten Hadoop-jakelut, joissa kaikissa on suoratoisto kuten sanoin, ja siellä on kaupallista tai yksittäistä -vendor-ratkaisut, jotka ovat selvästi kilpailijoissamme. Maisemassa on myös paljon enemmän, joita emme ehkä ole maininneet täällä.
Se mitä näet siellä, on laajasti yrityksen käyttäjän näkemä. Kuten näette, monimutkainen ja nopeasti kehittyvä teknologiamaisema streamien käsittelyyn. Meidän on yksinkertaistettava valintaa ja heidän käyttökokemustaan. Ajattelemme, että yritykset todella tarvitsevat kaiken toiminnallisen abstraktin yhden luukun, helppokäyttöisessä käyttöliittymässä, joka yhdistää kaikki nämä tekniikat, mikä tekee käytöstä todella helpon ja ei paljasta kaikkia liikkuvia osia. ja huonontumista, suorituskykyä ja elinkaaren ylläpitoa koskevat kysymykset yritykselle.
Toimintojen abstraktio on yksi. Toinen osa on moottorin abstraktio. Suoratoisto-moottorit ja avoimen lähdekoodin verkkotunnukset ilmestyvät nyt joka kolmas, neljä tai kuusi kuukautta. Se oli Storm pitkään. Samza tuli esiin ja nyt se on Spark Streaming. Flink nostaa päätään ja alkaa saada huomiota. Jopa Spark Streaming -suunnitelma, he tekevät tavan käyttää erilaista moottoria puhdasta tapahtumien käsittelyä varten, koska he myös ymmärtävät, että Spark on suunniteltu erälle ja he tekevät tietä arkkitehtuurinäkemyksessään ja etenemissuunnitelmassaan mahdollisesti erilaiselle moottori virtaprosessointiin nykyisen mikrokertakuvion lisäksi Spark Streaming -tekniikassa.
On totta, että joudut kohtaamaan, että tapahtuu paljon evoluutiota. Sinun on todella suojeltava itseäsi tuolta tekniikan vuodelta. Koska oletuksena sinun täytyy valita yksi ja sitten elää sen kanssa, mikä ei ole optimaalista. Jos tarkastellaan sitä toisella tavalla, taistelet keskenään, "okei, minun täytyy ostaa oma käyttöjärjestelmä, jossa ei ole lukitusta, ei avoimen lähdekoodin vipuvaikutusta, se voi olla erittäin kallis ja rajoitettu joustavuus verrattuna kaikkiin näihin avoimen lähdekoodin pinoihin, joissa joudut tekemään sen itse. ”Jälleen kerran, kuten sanoin, se on paljon kustannuksia ja viivästyminen markkinoille pääsyyn. Sanomme, että StreamAnalytix on yksi esimerkki mahtavasta alustasta, joka yhdistää yritysluokan, luotettavan, yksittäisen toimittajan, tuetun ammattitaitoisen palvelun - kaiken tämän, jota todella tarvitset yrityksenä ja avoimen lähdekoodin ekosysteemin joustavuuden voimaa. jossa yksi alusta yhdistää ne - syö, CEP, analytiikka, visualisointi ja kaikki tämä.
Se tekee myös erittäin, erittäin ainutlaatuisen asian, joka yhdistää useita erilaisia teknologiamoottoreita yhden käyttökokemuksen alle. Uskomme todella, että tulevaisuus tarkoittaa sitä, että voimme käyttää useita virtausmoottoreita, koska erilaiset käyttötapaukset todella vaativat erilaisia suoratoistoarkkitehtuureja. Kuten Robin sanoi, viiveillä on koko kirjo. Jos puhut todella millisekunnin latenssitasosta, kymmenistä tai jopa satoista millisekunnista, tarvitset todella Stormia tällä hetkellä, kunnes on olemassa toinen yhtä kypsä tuote, jolla on vähemmän lievennys tai lievä aikataulu ja viiveet jopa muutamassa sekunnissa, kolmessa, neljä, viisi sekuntia, että etäisyys, niin voit käyttää Spark Streaming -sovellusta. Mahdollisesti on olemassa muita moottoreita, jotka voisivat tehdä molemmat. Bottom line, suuressa yrityksessä tulee olemaan kaikenlaisia käyttötapauksia. Haluat todella, että pääsyllä ja yleisyydellä olisi useita moottoreita yhdellä käyttökokemuksella, ja sitä me yritämme rakentaa StreamAnalytixissä.
Vain nopea näkymä arkkitehtuuriin. Aiomme muokata tätä hieman, mutta pohjimmiltaan vasemmalla puolella on tulossa useita tietolähteitä - Kafka, RabbitMQ, Kinesis, ActiveMQ, kaikki nämä tietolähteet ja jonot tulevat streamin käsittelyalustaan, jossa sinä olet koota sovellus, jossa voit vetää ja pudottaa operaattoreilta kuten ETL: t, kaikki jutut, joista puhumme. Alla on useita moottoreita. Tällä hetkellä meillä on Storm- ja Spark Streaming -yritykset teollisuuden ainoana ja ensimmäisenä yritysluokan suoratoistoalustana, jolla on useita moottoritukea. Se on erittäin ainutlaatuinen joustavuus, jota tarjoamme kaiken muun reaaliaikaisten kojetaulujen käyttämisen lisäksi. CET-moottori upotettuna. Meillä on saumaton integrointi Hadoop- ja NoSQL-hakemistoihin, Solr- ja Apache-hakemistoihin. Voit laskeutua suosikki tietokantaasi riippumatta siitä, mikä se on ja rakentaa sovelluksia todella nopeasti, päästä markkinoille todella nopeasti ja pysyä tulevaisuuden todisteena. Se on koko mantramme StreamAnalytixissä.
Sen kanssa luulen päättäväni huomautukseni. Voit vapaasti tulla luoksesi lisää kysymyksiä. Haluan pitää puheenvuoron avoinna kysymyksiin ja vastauksiin sekä paneelikeskusteluihin.
Rebecca, sinulle.
Rebecca Jozwiak: Hienoa, okei. Kiitos paljon. Dez ja Robin, onko sinulla joitain kysymyksiä ennen kuin siirrämme sen yleisön kysymyksiin ja vastauksiin?
Robin Bloor: Minulla on kysymys. Laitan kuulokkeet takaisin päälle, jotta kuulet minut. Yksi mielenkiintoisista asioista, jos voisit kertoa siitä ystävällisesti minulle, monet siitä, mitä olen nähnyt avoimen lähdekoodin tilassa, näyttää siltä, mitä sanoisin minulle kypsymättömäksi. Tietyssä mielessä kyllä, voit tehdä erilaisia asioita. Mutta näyttää siltä, että tarkastelemme ohjelmistoja sen ensimmäisessä tai toisessa julkaisussa todellisuudessa, ja ihmettelin vain organisaationne kokemuksen perusteella, kuinka paljon näette Hadoop-ympäristön kypsyyttä ongelmallisena vai onko se jotain, joka ei t luoda liian monia ongelmia?
Anand Venugopal: Se on todellisuutta, Robin. Olet aivan oikeassa. Epäküpsyys ei ole välttämättä pelkästään toiminnallisen vakauden ja asioiden alueella, mutta ehkä myös joissakin tapauksissa siitä. Mutta kypsyysaste on enemmän käyttövalmiudessa. Avoimen lähdekoodin tuotteet, kun ne ilmestyvät ja vaikka he tarjoavatkin Hadoop-jakelua, ne ovat kaikki paljon erilaisia kykeneviä tuotteita, komponentit vain löi yhteen. Ne eivät toimi yhdessä saumattomasti, eikä niitä ole suunniteltu sujuvalle saumattomalle käyttökokemukselle, joka saadaan hyvin kuten Bank of America tai Verizon tai AT&T, jotta virtaan voidaan käyttää streaming-analytiikkasovellusta. Niitä ei ole suunniteltu siihen varmasti. Tästä syystä tulemme sisään. Yhdistämme sen ja olemme todella helppo ymmärtää, ottaa käyttöön jne.
Sen toiminnallinen kypsyys on mielestäni suurelta osin olemassa. Monet suuret yritykset käyttävät esimerkiksi Stormia tänään. Monet suuret yritykset pelaavat tänään Spark Streaming -sovelluksella. Jokaisella näillä moottoreilla on rajoituksensa siihen, mitä he voivat tehdä, siksi on tärkeää tietää, mitä voit ja mitä et voi tehdä jokaisella moottorilla. Ei ole mitään syytä murtaa päätäsi seinää vasten ja sanoa: "Katso minä valitsi Spark Streaming -sovelluksen, ja se ei sovellu minulle tällä tietyllä toimialalla. ”Se ei toimi. On tapauksia, joissa Spark Streaming on paras vaihtoehto, ja on tapauksia, joissa Spark Streaming ei ehkä toimi lainkaan sinulle. Siksi tarvitset todellakin useita vaihtoehtoja.
Robin Bloor: Sinulla on oltava asiantuntijaryhmät suurimmaksi osaksi tästä. Tarkoitan, etten edes tiedä mistä aloittaa. Taitava henkilöiden järkevä yhteistyö. Olen kiinnostunut siitä, miten sitoutuminen osallistuu ja miten se tapahtuu. Se johtuu siitä, että tietty yritys on jonkin tietyn sovelluksen jälkeen, vai näetkö sellaista, jota kutsun strategiseksi omaksumiseksi, kun he haluavat koko alustan tekevän paljon asioita.
Anand Venugopal: Näemme esimerkkejä molemmista, Robin. Jotkut kymmenen parhaan tuotemerkin joukosta, joita kaikki tietävät, käyttävät sitä strategisella tavalla. He tietävät, että heillä tulee olemaan erilaisia käyttötapauksia, joten he arvioivat alustaa, joka sopii tähän tarpeeseen, joka on useita erilaisia käyttötapauksia monivuokralaisella tavalla käytettäväksi yrityksessä. On kertakäyttöisiä tapaustarinoita, jotka myös alkavat. Asuntolainayrityksessä työskentelee erityinen liiketoiminnan seurannan tyyppinen käyttötapaus, jota et voi kuvitella ensimmäisenä käyttötapauksena, mutta se on heidän keksimänsä liiketoimintaratkaisu tai käyttötapaus, jonka jälkeen yhdistimme pisteet suoratoistoon . Sanoimme: "Tiedätkö mitä? Tämä on hieno tapa analysoida suoratoistoa ja näin voimme toteuttaa sen. ”Niin se alkoi. Sitten siinä prosessissa he saavat koulutuksen ja sanovat: “Voi vau, jos voimme tehdä tämän ja jos tämä on yleinen alusta, niin voimme erottaa sovelluksen, kerrostaa ne alustalle ja rakentaa paljon erilaisia sovelluksia tälle alustalla.”
Robin Bloor: Dez, sinulla on kysyttävää?
Anand Venugopal: Dez on todennäköisesti mykkä.
Dez Blanchfield: Anteeksi. Minulla oli vain hyvä keskustelu itse. Seuraamalla vain Robinin alkuperäistä havaintoa olet täysin oikeassa. Mielestäni haaste on nyt se, että yrityksillä on ekosysteemi sekä kulttuuri- ja käyttäytymisympäristö, jossa ilmainen ja avoimen lähdekoodin ohjelmisto on jotain, mikä heille on tiedossa ja he pystyvät käyttämään Firefoxin kaltaisia työkaluja selaimena ja sillä on ollut kunnollinen käyttöikä, kunnes siitä tulee vakaa ja turvallinen. Mutta jotkut niistä erittäin suurista alustoista, joita he käyttävät, ovat yritysluokan omia käyttöympäristöjä. Joten avoimen lähdekoodin käyttöympäristöjen käyttöönotto ei ole aina jotain, mikä on heille helppoa kulttuurisesti tai tunnepitoisesti. Olen nähnyt tämän vain pienten ohjelmien hyväksymisen kautta, jotka olivat paikallisia hankkeita pelataksesi vain suurta dataa ja analytiikkaa perusajatuksena. Mielestäni yksi keskeisistä haasteista, olen varma, että olet nähnyt ne nyt organisaatioiden kautta, on heidän halu saada lopputulos, mutta samalla heidän jalkansa on kiinnitetty vanhaan tölkkiin, josta he voisivat vain ostaa tämän “Lisää iso tuotemerkki” Oracle, IBM ja Microsoft. Nämä uudet ja tunnetut merkit ovat tulossa läpi Hadoop-alustoilla ja vielä enemmän. Mielenkiintoisempia merkkejä on tulossa, joiden kautta on huipputeknologiaa, kuten stream.
Millaisia keskusteluja sinulla on ollut sellainen käydä läpi tai leikata läpi? Tiedän, että osallistumme tänä aamuna massiiviseen läsnäoloon, ja olen varma, että jokaisen mielestä jokainen mielestäni on “Kuinka leikata läpi koko haastava kerros hallitustasolta, ohi sen liian avoin lähde ja liian verenvuoroinen reuna? "Kuinka asiakkaiden kanssa käymäsi keskustelut sujuvat ja kuinka pääset läpi siihen pisteeseen, jossa tyyppi pelottelee tyyppiäsi, jotta voit harkita StreamAnalytixin kaltaisten pelien omaksumista?
Anand Venugopal: Meillä on tosiasiassa melko helppo myydä arvoehdotuksemme, koska asiakkaat siirtyvät luonnollisesti kohti avointa lähdekoodia suositeltavana vaihtoehtona. He eivät vain luopu ja sanovat: ”Okei, aion nyt käyttää avointa lähdekoodia.” He todella käyvät läpi sitoutuneen arvioinnin tärkeästä tuotteesta, sanotaan, että se on IBM tai tyypillinen tuote, koska heillä on nämä myyjäsuhteet. He eivät kohtele meitä tai avoimen lähdekoodin moottoria kyseistä tuotetta vastaan. He käyvät läpi 6–8–12 viikkoa arviointia. He vakuuttavat itsensä siitä, että täällä on tietynlainen suorituskyky ja vakaus, jota haluan, ja sitten he päättävät mieltään sanomalla: "Vau, tiedätkö mitä, voin itse tehdä tämän."
Esimerkiksi tänään meillä on merkittävä ensisijainen puhelinnumero, jolla on tuotannossa suoritettavia stream-analyyttisiä tuotteita paljon pinoa, ja he arvioivat sitä toista erittäin, erittäin suurta tunnettua myyjää vastaan ja he vakuuttuivat vasta sen jälkeen, kun olemme todistaneet kaikki suorituskyky, vakaus ja kaikki nämä asiat. He eivät pidä sitä itsestään selvänä. He saivat selville, että avoimen lähdekoodin asiantuntija on arviointinsa kautta, ja he ymmärtävät pahimmassa tapauksessa: ”Ehkä on niitä kahta käyttötapausta, joita en ehkä pysty tekemään, mutta suurin osa yrityksistäni on nykyään kiihtyvyyskäyttötapauksia avoimen lähdekoodin avulla. pino. ”Ja me sallimme sen käytön. Joten se on iso suloinen paikka täällä. He halusivat avoimen lähdekoodin. He todella haluavat päästä eroon myyjien lukitustilanteesta, johon he ovat tottuneet monien, monien vuosien ajan. Sitten täällä tulemme ja sanomme: "Tiedätkö mitä, teemme avoimen lähdekoodin paljon, paljon helpompaa ja ystävällisempää käyttää sinulle."
Dez Blanchfield: Uskon, että toinen haaste, jonka yritykset löytävät, kun ne tuovat markkinoille perinteisen vakiintuneen operaattorin, ovat usein sukupolvi takana jännittävien juttujen verenvuoresta, joista me täällä puhumme, enkä tarkoita sitä kielteisenä pienenä asiana. Vain todellisuus on, että heillä on sukupolvi ja matkansa läpi vapauttaakseen sen, mitä he pitävät vakaina alustoina käyntiä, vanhan koulun kehittämisen ja UATN-integraatiosyklit ja testit ja dokumentaatio sekä markkinointi ja myynti. Kun taas tekemässäsi tyypissä mielestäni olen mielenkiintoinen ajatella, että katsomalla viime yön viimeisimpiä julkaisujasi teet jonkinlaista tutkimustyötä, saat tämän sekoituksen nyt missä sait pätevyys etukäteen konsultoinnin ja toteutuksen kannalta, mutta sait myös pinon, jonka voit kääntää sisään. Mielestäni tässä vakiintuneet operaattorit kamppailevat jonkin aikaa. Olemme nähneet monia heistä kuten minäkin markkinoilla. Ne ovat usein niin kutsutuissa kiinni-solmuissa, kun taas siitä mitä sanot meille, kun olet siellä tekemässä näitä keskusteluja ja toteuttamassa siellä.
Voisitko antaa meille pari esimerkkiä joistakin rajapisteistä, jotka olet nähnyt hyväksymisen? Esimerkiksi, on olemassa todella nichey-ympäristö, kuten rakettitiede, satelliittien sijoittaminen avaruuteen ja tiedon kerääminen Marsilta. On vain kourallinen ihmisiä, jotka tekevät niin planeetalla. Mutta on olemassa suuria pystysuoria, kuten terveys, esimerkiksi ilmailussa, merikuljetuksissa ja logistiikassa, valmistuksessa ja tekniikassa. Nämä ovat pari esimerkkiä suuremmista ja laajemmista teollisuudenaloista, joita olet ollut toistaiseksi, että olet nähnyt todella hyviä adoptio sisään?
Anand Venugopal: Telco on iso esimerkki.
Aion vain korjata diani täällä nopeasti. Näetkö kalvon täällä, tapaustutkimus 4?
Tässä on kyse suuresta puhelinta, joka syöttää digisovittimen tietoja ja tekee sen kanssa useita asioita. He katsovat, mitä asiakkaat todella tekevät reaaliajassa. He katsovat, missä virheet tapahtuvat reaaliajassa digisovittimissa. He yrittävät ilmoittaa puhelinkeskukseen, jos asiakas soittaa juuri nyt, koodilinkitiedot tämän asiakkaan digisovittimesta, huoltolippujen tiedot korreloivat nopeasti onko kyseisen asiakkaan digisovittimella ongelma vai ei edes ennen asiakas puhuu sanan. Jokainen kaapeliyhtiö, jokainen suuri puhelin yrittää tehdä tämän. He syövät digisovittimen tietoja, tekevät reaaliaikaista analyysiä, kampanja-analytiikkaa, jotta he voivat sijoittaa mainoksia. Käyttötarkoitus on valtava.
Kuten totesin, kyseessä on tämä asuntolainayritys, joka on jälleen yleinen malli, jossa suuret järjestelmät osallistuvat tietojen käsittelyyn. Tiedot, jotka kulkevat järjestelmän A kautta järjestelmästä B järjestelmään C, ja nämä ovat säänneltyjä yrityksiä, kaiken on oltava johdonmukaista.Usein järjestelmät menevät synkronoitumattomasti toistensa kanssa, yksi järjestelmä sanoo: ”Käsittelen sata lainaa, joiden kokonaisarvo on 10 miljoonaa dollaria.” Järjestelmä sanoo: “Ei, käsittelen 110 muun lainaa eri numero. ”Heidän on ratkaistava tämä todella nopeasti, koska he itse asiassa käsittelevät samaa tietoa ja tekevät erilaisia tulkintoja.
Olipa kyse luottokortista, lainankäsittelystä, liiketoimintaprosessista vai onko kyse asuntolainan liiketoimintaprosessista tai jotain muuta, autamme heitä tekemään korrelaatio ja täsmäytys reaaliajassa varmistaaksemme, että kyseiset liiketoimintaprosessit pysyvät synkronoituna. Se on toinen mielenkiintoinen käyttötapaus. Yksi Yhdysvaltain hallitus on urakoitsija, joka etsii DNS-liikennettä poikkeamien havaitsemiseksi. He ovat rakentaneet offline-koulutusmallin, ja he tekevät pisteytystä mallin perusteella reaaliaikaisessa liikenteessä. Jotkut niistä mielenkiintoisista käyttötapauksista. Eräs suuri lentoyhtiö tarkastelee turvajonoja ja he yrittävät antaa sinulle tiedon, että "Hei, se on porttisi lentokoneellesi lentokoneellesi. TSA-jono on tänään noin 45 minuuttia verrattuna kahteen tuntiin verrattuna muuhun. ”Saat päivityksen etukäteen. He työskentelevät edelleen sen parissa. Mielenkiintoinen Internet-tapaus, mutta hieno tapa analysoida suoratoistoa asiakaskokemukseen.
Rebecca Jozwiak: Tämä on Rebecca. Kun olet käyttötapausten aiheena, yleisöjäseneltä on suuri kysymys, joka ihmettelee: ”Ovatko nämä tapaustutkimuksia, johdetaanko nämä aloitteet talon tietojärjestelmien analyyttiselta puolelta vai johdetaanko niitä enemmän yritys, jolla on erityisiä kysymyksiä tai tarpeita mielessä? ”
Anand Venugopal: Luulen, että näemme noin 60 prosenttia, 50–55 prosenttia, enimmäkseen aktiivisia, innostuneita teknologia-aloitteita, jotka tietävät, jotka ovat melko taitavia ja ymmärtävät tiettyjä liiketoimintavaatimuksia, ja todennäköisesti heillä on yksi sponsori, jonka he tunnistivat, mutta nämä ovatko teknologiatiimit valmistautumassa läpikäyneisiin yrityskäyttötapausten hyökkäyksiin, ja kun he ovat valmiita rakentamaan, he tietävät voivansa tehdä tämän ja sitten mennä yritystoimintaan ja myymään aggressiivisesti. 30–40 prosentissa tapauksista näemme, että yrityksillä on jo tietty käyttötapaus, joka vaatii virtausanalyysikykyä.
Rebecca Jozwiak: Tuossa on järkeä. Minulla on toinen yleisöjäsen, hieman teknisempi kysymys. Hän ihmettelee, tukevatko nämä järjestelmät sekä jäsenneltyjä että jäsentämättömiä tietovirtoja, kuten virtojen tai viestien sedimenttejä reaaliajassa, vai onko se ensin suodatettava?
Anand Venugopal: Tuotteet ja tekniikat, joista puhumme, tukevat erittäin välitömästi sekä jäsenneltyä että jäsentämätöntä tietoa. Ne voidaan konfiguroida. Kaikilla tiedoilla on jonkinlainen rakenne riippumatta siitä, onko kyse a vai XML tai jotain muuta. Aikaleimasyötteellä on jonkin verran rakennetta. Siellä on ehkä toinen blob, joka on jäsentävä, jotta voit injektoida parsit streamiin datarakenteiden jäsentämiseksi. Jos se on jäsennelty, niin sanomme vain järjestelmälle: "Okei, jos pilkuilla erotetut arvot ja ensimmäinen on merkkijono, toinen on päivämäärä." Joten voimme injektoida kyseisen jäsentämisen älykorttiin yläruudun kerroksiin ja käsittele helposti sekä jäsenneltyä että jäsentämätöntä tietoa.
Rebecca Jozwiak: Minulla on toinen kysymys yleisöltä. Tiedän, että olemme juokseneet hiukan tunnin huipun ohi. Tämä osallistuja haluaa tietää, näyttää siltä, että reaaliaikaiset suoratoistosovellukset saattavat kehittää sekä tarpeen että mahdollisuuden integroitua takaisin transaktiojärjestelmiin, esimerkiksi niiden esittämiin petostentorjuntajärjestelmiin. Tällöin onko transaktiojärjestelmiä tarkistettava sopimaan siihen?
Anand Venugopal: Se on sulautuminen, eikö niin? Se on transaktiojärjestelmien yhdistelmä. Niistä tulee joskus tietolähde, jossa analysoimme tapahtumia reaaliajassa, ja monissa tapauksissa sanotaan esimerkiksi, että sovellusvirrat ovat täällä ja yritän näyttää staattisen tiedonhakusivuston ja tapauksessamme jonkinlaista suoratoistoa sisään ja etsit staattista tietokantaa, kuten HBase tai RDBMS, rikastuttaaksesi suoratoistoa ja staattista tietoa yhdessä päätöksenteon tai analyyttisen näkemyksen tekemiseksi.
Siellä on myös toinen merkittävä alan suuntaus - OLAP: n ja OLTP: n lähentyminen - ja siksi sinulla on Kudun kaltaiset tietokannat ja muistitietokannat, jotka tukevat samanaikaisesti sekä tapahtumia että analyyttistä käsittelyä. Suoratoistoprosessointikerros olisi kokonaan muistissa, ja tarkastelemme joitain näistä transaktiotietokannoista tai olemme niiden kanssa yhteydessä.
Rebecca Jozwiak: Sekoitettu työmäärä on mielestäni yksi viimeisimmistä esteistä hypätä. Dez, Robin, onko sinulla kahdella lisää kysymyksiä?
Dez Blanchfield: Aion hypätä viimeiseen kysymykseen ja käsitellä sitä, jos et mielessä. Ensimmäinen haaste, jonka organisaatiot, joiden kanssa olen viimeisen vuosikymmenen ajan kärsineet, johtavat tähän jännittävään stream-analyysin haasteeseen, ensinnäkin ne, jotka yleensä laitetaan takaisin pöydälle, kun aloimme keskustelun koko haasteesta, ovat missä saammeko taitosarjan? Kuinka koulutamme taitosarjan ja kuinka saamme tämän kyvyn sisäisesti? Pysymisen tullessa käteen pitää meidät matkan läpi ja toteuttaa sitten hienona ensimmäisenä askeleena, ja tehdä se on paljon järkevää.
Mutta keskisuurille ja suurille organisaatioille, millaisia asioita näet tällä hetkellä valmistautuvan tähän, rakentamaan kyseinen kyky sisäisesti, saamaan jotain pelkästään perussanastosta sen ympärillä ja millaisia he voivat tehdä organisaatiota siirtymisessä tällaiseen kehykseen ja siirtämällä nykyinen tekninen henkilöstönsä IT: ltä toimitusjohtajalta, jotta he voivat suorittaa tämän itse, kun rakennat ja toteutat sen? Hyvin lyhyesti sanottuna, millaisia haasteita ja miten he ratkaisevat, asiakkaat, joita käsittelette, minkä tyyppisiä haasteita he löytävät ja kuinka he käyvät läpi ratkaisemalla kyseisen uudelleenkoulutuksen ja kokemuksen ja tiedon palauttamisen valmistautuakseen tähän ja ollakseen pystytkö kiertämään toiminnallisesti?
Anand Venugopal: Usein pieni joukko ihmisiä, jotka yrittävät lähteä ostamaan streaming analytiikkaalustaa, ovat jo kohtuullisen älykkäitä siinä mielessä, että he ovat Hadoopin tietoisia, he ovat jo saaneet Hadoop MapReduce -taitonsa ja koska he tekevät tiivistä yhteistyötä Hadoop-jakelutoimittajan kanssa, he ovat joko tuttuja. Kaikki saa esimerkiksi Kafkan. He tekevät jotain sen kanssa ja joko Storm- tai Spark-streaming on heidän avoimen lähdekoodin toimialueessa. Ehdottomasti ihmiset tuntevat sen tai rakentavat taitoja sen ympärille. Mutta se alkaa pienellä joukolla ihmisiä, jotka ovat riittävän taitavia ja riittävän älykkäitä. He osallistuvat konferensseihin. He oppivat ja kysyvät älykkäitä kysymyksiä myyjille ja joissain tapauksissa oppivat myyjien kanssa. Kun myyjät tulevat ja esittävät ensimmäisessä kokouksessa, he eivät ehkä tiedä tavaraa, mutta lukevat yhdessä ja alkavat sitten leikkiä sen kanssa.
Tämä pieni ihmisryhmä on ydin ja sitten se alkaa kasvaa ja kaikki ymmärtävät nyt, että ensimmäinen yrityskäyttöön tarkoitettu tapaus otetaan käyttöön. Alkaa aalto ja näimme viime viikolla pidetyssä Spark-huippukokouksessa, jossa Capital One -tyyppinen suuri yritys oli siellä ja täydessä vahvuudessa. He valitsivat Sparkin. He puhuivat siitä. He kouluttavat paljon ihmisiä Sparkissa, koska he osallistuvat siihen monissa tapauksissa myös käyttäjänä. Näemme saman monien, monien suurten yritysten kanssa. Se alkaa muutamalla pienellä joukolla erittäin älykkäitä ihmisiä ja sitten se alkaa yleisen koulutuksen aallon ja ihmiset tietävät, että kun vanhempi VP tai kerran vanhempi johtaja on linjassa ja he haluavat panostaa tähän asiaan ja sana kiertää ja he kaikki alkavat kerätä näitä taitoja.
Dez Blanchfield: Olen varma, että sinulla on fantastinen aika myös näiden mestarien rakentamiseen.
Anand Venugopal: Joo. Meillä on paljon koulutusta, kun työskentelemme alkuperäisten mestarien kanssa, ja järjestämme koulutuskursseja, ja monien, useiden suurten asiakkaidemme hyväksi, olemme palanneet ja olimme koulutuksen aalloilla ja aalloilla saadaksemme paljon käyttäjiä yleiseen käyttövaiheeseen etenkin Hadoop MapReduce -sivustolla. Huomasimme, että suuressa luottokorttiyhtiössä, joka on meidän asiakasmme, olemme toimittaneet ainakin viisi tai kahdeksan erilaista koulutusohjelmaa. Meillä on myös ilmaisia yhteisöpainoksia kaikista näistä tuotteista, myös omamme, hiekkalaatikot, joita ihmiset voivat myös ladata, tottua ja kouluttaa itseään myös tällä tavalla.
Dez Blanchfield: Se on kaikki, mitä minulla on tänä aamuna sinulle. Kiitos paljon. Minusta on uskomattoman mielenkiintoista nähdä mallityypit ja käyttötapaukset, jotka sinulla on meille tänään. Kiitos.
Anand Venugopal: Loistava. Paljon kiitoksia ihmisille.
Rebecca Jozwiak: Kiitos kaikille, jotka liittyit meihin näihin Hot Technologies -verkkoon. On kiehtovaa kuulla Dez Blanchfieldiltä, tohtori Robin Bloorilta ja Impetus Technologiesilta, Anand Venugopal. Kiitos esittelijöille. Kiitos puhujille ja kiitos yleisölle. Meillä on ensi kuussa uusi Hot Technologies, joten etsi sitä. Löydät sisältömme aina arkistoidusta sivustosta Insideanalysis.com. Laitamme myös paljon sisältöä SlideShareen ja kiinnostavia bittejä myös YouTubeen.
Se on kaikki ihmiset. Kiitos vielä kerran ja hyvä päivä. Hei hei.