Ottaa mukaan: Isäntä Rebecca Jozwiak keskustelee tietoluetteloiden eduista Dez Blanchfieldin, Robin Bloorin ja David Crawfordin kanssa.
Sinun on ilmoittautunut tapahtumaan nähdäksesi videon. Rekisteröidy nähdäksesi videon.
Rebecca Jozwiak: Hyvät naiset ja herrat, terveisiä ja tervetuloa Hot Technologies -yritykseen 2016. Tänään meillä on ”Ehdotuksen voima: Kuinka dataluettelo antaa analyytikoille mahdollisuuden.” Olen isäntäsi Rebecca Jozwiak, täyttäen tänään tavanomaisen isäntämme Eric Kavanaghin. matkustaa maailmaa, joten kiitos liittymisestämme. Tämä vuosi on kuuma, se ei ole vain kuuma Texasissa, missä olen, mutta on kuumaa kaikkialla. Kaikkien uusien tekniikoiden räjähdys ilmaantuu. Meillä on Internet, tiedonsiirto, pilvien omaksuminen, Hadoop jatkaa kypsymistään ja omaksumistaan. Meillä on automaatio, koneoppiminen, ja kaikki nämä asiat tietysti korostavat tietoja. Ja yrityksistä tulee yhä enemmän datan ohjaamia päivä. Ja tietysti sen tarkoitus on johtaa tietoon ja löytöihin ja, tiedätte, tehdä parempia päätöksiä. Mutta jotta datasta saadaan eniten hyötyä, sen on oltava helppo saada. Jos pidät sen lukittuna tai haudattuna tai muutaman yrityksen aivoissa, se ei auta paljoa hyötyä koko yritykselle.
Ja ajattelin tavallaan tietojen luettelointia ja ajattelin tietenkin kirjastoja, missä kauan sitten sinne menit, jos tarvitsit löytää jotain, jos tarvitsit tutkia aihetta tai etsiä joitain tietoja, menit kirjastoon , ja tietysti menit korttiluetteloon tai siellä työskennellyt harhainen nainen. Mutta hauskaa oli myös vaeltaa ympäriinsä, jos vain halusit katsoa ja olet varma, että saatat löytää vain jotain siistiä, saatat löytää mielenkiintoisia tosiasioita, joita et tiennyt, mutta jos todella tarvitsit löytää jotain, ja tiesit mitä etsit, tarvitsit korttiluetteloa, ja tietysti yritystyyppi on tietokatalogi, joka voi auttaa valaisemaan kaikkia tietoja käyttäjillemme rikastuttamaan, löytämään, jakamaan, kuluttamaan ja auttamaan ihmisiä todella saamaan tiedonsiirtoon nopeammin ja helpommin.
Joten tänään meillä on oma datatieteilijämme Dez Blanchfield, ja meillä on oma pääanalyytikomme tohtori Robin Bloor. Meillä on David Crawford Alationista, joka aikoo puhua hänen yrityksensä tietokatalogihistoriasta, mutta ensin johtaa Dezin kanssa Dez, välitän pallon sinulle ja lattia on sinun.
Dez Blanchfield: Kiitos, kiitos siitä, että sain minut tänään. Tämä on asia, josta olen erittäin kiinnostunut, koska melkein jokaisessa organisaatiossa, jonka kanssa törmännyt päivittäisessä työssäni, löydäen täsmälleen saman aiheen, josta puhuimme hyvin lyhyesti esittelyä edeltävässä juhlissa, ja se on se, että Useimmissa organisaatioissa, jotka ovat toimineet liike-elämässä yli muutaman vuoden, on lukuisia tietoja haudattuja organisaation ympärille, erilaisia muotoja, ja itse asiassa minulla on asiakkaita, joilla on tietojoukkoja, jotka palaavat Lotus Notesiin, tietokantoihin, jotka ovat edelleen käytössä joissakin tapauksissa pseudo-internetoituneina, ja he kaikki joutuvat vastaamaan tähän haasteeseen löytääkseen todellisen sijaintinsa siitä, missä heidän tietonsa ovat ja miten päästä siihen tietoon, kuka antaa pääsyn siihen, milloin antaa pääsyn niihin ja kuinka ja miten luettelo ja kuinka saada se paikkaan, jossa kaikki voivat: A) olla tietoinen siitä, mitä siellä on ja mitä siinä on, ja B) miten päästä siihen käyttöön ja käyttää sitä. Ja yksi suurimmista haasteista on tietysti sen löytäminen, toinen iso haaste on tietää, mitä siellä on ja kuinka päästä siihen.
Ehkäpä tiedän, että minulla on kymmeniä tietokantoja, mutta en oikeastaan tiedä mitä siellä on tai kuinka selvittää mitä siellä on, ja niinpä aina, kun löydämme nyt esityksen edeltävistä tiedoista, olet taipuvainen kävelemään ympäri toimistoa ja kysyä kysymyksiä ja huutaa kuutiomaisten seinien läpi ja yrittää selvittää. Usein kokemukseni on, että saatat jopa harhailla edessäsi olevaa vastaanottoa ja kysyä, tietääkö joku menen puhumaan. Melko usein, se ei ole aina IT-ihmisiä, koska he eivät ole tietoisia tietojoukosta, koska joku on juuri luonut sen, ja se voi olla jotain yksinkertaista - melko usein löydämme jonkinlaisen projektin, joka seisoo IT-ympäristössä ja projektipäällikkö on käyttänyt laskentataulukkoa kaikista asioista, ja se on saanut valtavan määrän arvokasta tietoa varojen, nimien ja nimien ympärille. Ellet tiedä sitä hanketta ja tunnet sitä henkilöä, et vain löydä sitä tietoa. Sitä ei vain ole saatavana, ja sinun on saatava alkuperäiseen tiedostoon.
Siellä on lause, jota on lyöty tietojen suhteen, enkä välttämättä ole sitä samaa mieltä, mutta mielestäni se on söpö pieni heittäjä ja se on, että tietty määrä ihmisiä ajattelee, että tiedot ovat uutta öljyä, ja olen varma, että me aiomme kattaa tämän myös jostakin näkökulmasta, myöhemmin tänään. Mutta olen huomannut, että olen varmasti osa tätä muutosta, että yrityksiä edustavat organisaatiot, jotka ovat oppineet arvostamaan tietojaan, ovat saaneet merkittävän edun kilpailijoihinsa nähden.
IBM julkaisi mielenkiintoisen paperin, noin viisi tai kuusi vuotta sitten, ja he kartoittivat noin 4 000 yritystä täällä Australiassa. He ottivat kaikki tiedot, kaikki suoritustiedot, kaikki rahoitustiedot ja kokosivat kiehuvaan astiaan ja sitten lähetti sen Australian kauppakorkeakoululle, ja he todella aloittivat täällä yhteisen suuntauksen, ja se oli, että tekniikkaa hyödyntäneet yritykset saavuttivat aina sellaisen kilpailuedun vertailukumppaneihinsa ja sinänsä kilpailijoihinsa nähden, että heidän kilpailijansa melkein koskaan eivät saa kiinni, ja mielestäni se on hyvin tilanne nyt tietojen kanssa, jotka olemme nähneet, mitä ihmiset kutsuvat digitaalimuutokseksi, jossa organisaatiot, jotka ovat selvästi tajunnut kuinka löytää saamansa tiedot, saattaa nämä tiedot saataville ja asettaa ne saataville erittäin helpoissa kulutuskuluissa Muodosta organisaatiolle välttämättä aina tietämättä miksi organisaatio tarvitsee sitä, ja saa huomattavaa etua kilpailijoihin nähden.
Minulla on pari esimerkkiä tästä diasta, jotka voit nähdä. Yksi rivini on, että laajamittainen häiriö melkein kaikilla toimialoilla, mielestäni, perustuu tietoihin, ja jos nykyisillä suuntauksilla on jotain mennä eteenpäin, mielestäni olemme vain todella saaneet aloitettiin, koska kun pitkät tuotemerkit herättävät vihdoin mitä tämä tarkoittaa ja osallistuvat peliin, he tulevat peliin tukkukaupassa. Kun eräänlaiset suuret vähittäiskauppiaat, joilla on paljon vuoria, alkavat soveltaa historiallista analyysiä tietoihin, jos he jopa tietävät sen olevan olemassa, jotkut online-pelaajista saavat vähän herätyksen.
Mutta useimpien näiden merkkien kanssa tarkoitan, että meillä on Uber, joka on maailman suurin taksiyhtiö. Heillä ei ole takseja, joten mikä tekee heistä taikuutta, mitä heidän tietojaan on? Airbnb, suurin majoituspalvelujen tarjoaja, on saanut WeChatin, maailman suurimman puhelinyhtiön, mutta heillä ei ole todellista infrastruktuuria eikä puhelimia eikä puhelinlinjoja. Alibaba, planeetan suurin jälleenmyyjä, mutta he eivät omista mitään mainosjakaumaa. , sanan suurin mediayhtiö. Mielestäni viimeisimmässä lukemassa heillä oli nyt 1,4 miljardia aktiivista tiedon käyttäjää, mikä on mielestäni ajatteleva numero. Se ei ole missään lähellä - luulen, että joku väitti, että neljäsosa planeetasta on todella siellä päivittäin, ja silti tässä on sisällöntuottaja, joka ei itse luo sisältöä, kaikki heidän tarjoamansa tiedot eivät ole heidän luomiaan, vaan niiden on luotu heidän tilaajia, ja me kaikki tiedämme tämän mallin.
SocietyOne, josta olet ehkä kuullut, se on paikallinen tuotemerkki, mielestäni parissa maassa se on pankki, joka tosiasiallisesti antaa vertaisarviointia, joten toisin sanoen sillä ei ole rahaa. Ainoa se on, että se hallinnoi tapahtumia ja tiedot istuvat sen alla. Netflix, olemme kaikki hyvin, hyvin perehtyneitä siihen. Täällä on mielenkiintoinen linja-auto. Kun Netflixiä voitiin laillisesti käyttää Australiassa, kun se virallisesti ilmoitettiin, sinun ei tarvinnut käyttää VPN: tä päästäkseen siihen, monet ihmiset ympäri maailmaa yleensä - jos et pääse siihen lähialueellesi - kun Netfix lanseerattiin Australiassa, se lisäsi Internet-linkkidemme kansainvälistä kaistanleveyttä 40 prosentilla, joten melkein kaksinkertaisti Internetin käytön Australiassa yön yli, vain yhdellä sovelluksella, yhdellä pilvipalvelimella varustetulla sovelluksella, joka ei tee muuta kuin pelaa dataa. Se on vain mielenkiintoista tilastoa.
Ja tietenkin, me kaikki tunnemme Applen ja Googlen, mutta nämä ovat maailman suurimmat ohjelmistoyritykset, mutta he eivät itse kirjoita sovelluksia. Mikä on johdonmukainen asia näiden kaikkien organisaatioiden kanssa? No, se on tietoa, ja he eivät päässeet sinne, koska he eivät tienneet missä heidän tietonsa olivat, ja he eivät tienneet kuinka luetteloida ne.
Nyt havaitsemme, että on olemassa tämä kokonaan uusi omaisuusluokka, jota kutsutaan dataksi, ja yritykset heräävät sitä. Mutta heillä ei aina ole työkaluja ja taitotietoa ja miksi kaiken tämän tiedon kartoittamiseen, kaikkien tietojen luettelointiin ja asettamiseen saataville, mutta olemme havainneet, että yritykset, joilla ei juuri ole fyysistä omaisuutta, ovat saavuttaneet korkean markkina-arvon ennätysajassa. tämän uuden tietovarastoluokan kautta. Kuten olen sanonut, jotkut vanhat pelaajat heräävät nyt tähän ja tuovat varmasti sen esiin.
Olen suuri fani siitä, että otan kansanmiehiä vähän matkalta, joten kahdeksantoista sata, kahdeksantoista sata, ja sinun tulee olla enemmän kuin tuntea tämä Yhdysvaltain markkinoilla, kävi ilmi, että suorittaalaskenta Joka vuosi tai niin, luulen, että he suorittivat ne kymmenen vuoden välein siinä vaiheessa, mutta jos aiot suorittaa väestölaskennan vuosittain, tietojen analysointi voi kestää jopa kahdeksan tai yhdeksän vuotta. Kävi ilmi, että kyseinen tietojoukko jätettiin sitten laatikoihin paikoin paperiin, ja melkein kukaan ei löytänyt sitä. He vain jatkoivat näiden raporttien pumppaamista, mutta tosiasiallisia tietoja oli erittäin vaikea saada, meillä on samanlainen tilanne toisen maailman merkityksellisen hetken kanssa, 1940-luvun lopulla, toisen maailmansodan kanssa, ja tämä asia on Bletchley Park Bombe kirjoitti BOMBE , ja se oli massiivinen, numeroita murskaava analyyttinen työkalu, joka meni pienten tietojoukkojen läpi ja löytäisi niistä signaaleja, ja jota voitaisiin käyttää murtamaan koodeja Enigman kautta.
Tämä asia taas oli pohjimmiltaan laite, joka oli suunniteltu, ei paljon luetteloimiseksi, vaan tietojen merkitsemiseksi ja kartoittamiseksi, ja sen avulla on mahdollista ottaa kuvioita ja löytää niitä tietojoukkojen sisäpuolelta, tässä tapauksessa murtaa koodeja, löytää avaimia ja lauseita ja löytää ne säännöllisesti tietojoukkoissa, ja siten olemme käyneet läpi tämän matkan löytää asioita tiedoista ja johtaa tietojen luettelointiin.
Ja sitten nämä asiat tulivat, nämä massiiviset edulliset telineet, aivan hyllyltä. Ja teimme joitain erittäin mielenkiintoisia asioita, ja yksi niistä, mitä teimme heidän kanssaan, on rakennettu erittäin edullisia klustereita, jotka voisivat aloittaa planeetan indeksoinnin, ja erittäin kuuluisasti nämä suuret tuotemerkit, jotka ovat tulleet ja menneet, mutta luultavasti Googlen yleisin koti tuotemerkki, josta olemme kaikki kuulleet - siitä on tullut todellinen verbi, ja tiedät, että onnistut, kun brändistäsi tulee verbi. Mutta mitä Google opetti meille ymmärtämättä sitä, mahdollisesti yritysmaailmassa, on se, että he pystyivät indeksoimaan koko planeetan tietylle tasolle ja luetteloimaan ympäri maailmaa olevat tiedot ja asettamaan sen saataville erittäin helposti, kätevä muoto pienessä pienimuotoisessa yhden rivin kaavassa, verkkosivu, jossa ei ole mitään, ja kirjoitat kyselyn, se menee ja löytää sen, koska he olivat jo indeksoineet planeetan, indeksoineet sen ja tehneet sen helposti saataville.
Ja mitä huomasimme, oli ”No niin, kiinni, emme tee tätä organisaatioissa - miksi niin? Miksi meillä on organisaatio, joka pystyy kartoittamaan koko planeetan ja indeksoimaan sen, indeksoimaan ja indeksoimaan sen ja asettaa sen saataville, voimme etsiä sitä ja napsauttaa sitten mennä -painiketta ja löytää sen, miten me tulemme etkö ole tehnyt sitä sisäisesti? ”Joten nykyään ympäri maailmaa on paljon näitä pieniä konehyllyjä, jotka tekevät sitä intranetille ja löytävät asioita, mutta he todellakin vain ajautuvat ajatukseen mennä perinteisen verkkosivun ulkopuolelle, tai tiedostopalvelin.
Sen sijaan, että kirjoittaisimme tämän seuraavan sukupolven tietokatalogin monella tapaa, tietojen käytön löytäminen post-it-muistiinpanojen ja vesijäähdyttimien avulla käytävien keskustelujen avulla ei ole enää oikein soveltuva tapa tietojen löytämiseen ja luettelointiin, ja itse asiassa en usko, että se koskaan olisi ollut . Emme voi enää johtaa koko haastetta ihmisille, jotka vain lähettävät muistiinpanoja, lähettävät muistiinpanoja ja keskustelevat siitä. Olemme hyvin ja todella alueen ulkopuolella, jolla tämä seuraavan sukupolven lähestymistapa tietojen luettelointiin on tullut ja mennyt. Meidän on saatava aseemme sen ympärille. Jos tämä olisi helppo kysymys, olisimme jo ratkaisseet sen monin tavoin aikaisemmin, mutta mielestäni se ei ole helppo kysymys, datan indeksointi ja soittaminen on vain yksi osa sitä, tiedämme, mitä tiedoissa on, ja metatiedot ympärillämme, mitä löydämme, ja sitten asettamalla se saataville helposti, kulutuskelpoisessa muodossa, etenkin itsepalvelulle ja analytiikalle. Se on edelleen ratkaistava ongelma, mutta palapelin monet osat viidessä vuodessa ovat hyvin ja todella ratkaistuja ja saatavissa.
Kuten tiedämme, ihmisten tietojen luettelointi on epäonnistumisen resepti, koska inhimilliset virheet ovat yksi suurimmista painajaisista, joita käsittelemme tietojenkäsittelyssä, ja puhun säännöllisesti tästä aiheesta, jossa mielestäni ihmisten paperilomakkeiden täyttäminen on todennäköisesti suurin painajainen käsittelemme isoa dataa ja analytiikkaa, jotta joudumme jatkuvasti korjaamaan tekemänsä asiat, jopa yksinkertaisiin asioihin, kuten päivämääriin ja kenttiin, ihmisten asettaessa sen väärään muotoon.
Mutta kuten olen sanonut, olemme nähneet Internet-hakukoneiden indeksoivan maailmaa joka päivä, joten ajattelemme nyt ajatusta, että se voidaan tehdä yritystietosarjoille löytöprosessissa, ja työkalut ja järjestelmät ovat nyt helposti saatavilla, kun aiot oppia tänään. Joten temppu, mielestäni todellakin, on oikeiden työkalujen valinta, parhaimmat työkalut työhön. Ja sopivimmin sen lisäksi, että löydät oikean osan siitä, jotta pääset alkuun tällä tiellä. Ja uskon, että kuulemme siitä tänään, mutta ennen kuin teemme sen, aion siirtyä yliopistolleni Robin Bloorille ja kuulla hänen ottavansa aiheeseen. Robin, voinko siirtää sinulle?
Robin Bloor: Kyllä, varmasti voit. Katsotaan, toimiiko tämä, niin kyllä, se toimii. Okei, tulen toisesta suunnasta kuin Dez todella, mutta päädyn samaan paikkaan. Kyse on tietojen yhdistämisestä, joten ajattelin vain kulkevani tosiasiassa yhteyden muodostamisen tosiasiallisesti.
On tosiasia, että tiedot ovat pirstoutuneempia kuin koskaan. Tietomäärä kasvaa ilmiömäisesti, mutta tosiasiassa myös eri tietolähteet kasvavat uskomattoman vauhdilla, ja siksi tiedot pirstoutuvat koko ajan. Mutta etenkin analytiikkasovellusten takia - mutta ne eivät ole ainoita sovelluksia - meillä on todella hyvä syy yhdistää kaikki nämä tiedot, joten olemme jumissa vaikeassa paikassa, olemme jumissa pirstoutuneiden tietojen maailmassa, ja tiedoissa on mahdollisuus, kun Dez kutsui sitä, uutta öljyä.
Tietoja, hyvin, se oli tapana elää pyörivällä levyllä, joko tiedostojärjestelmissä tai tietokannoissa. Nyt se elää paljon monipuolisemmassa ympäristössä, se elää tiedostojärjestelmissä, mutta elää nykyään myös Hadoop-tapauksissa tai jopa Spark-tapauksissa. Se elää useissa lajeissa tietokantoja. Ei niin kauan sitten, standardoimme jonkin verran relaatiotietokannan, ja tiedätkö, että se on kulunut ikkunasta viimeisen viiden vuoden aikana, koska on olemassa asiakirjatietokantoja ja graafisia tietokantoja, joten tiedät, että pelillä on muuttunut. Joten se asui pyörivällä levyllä, mutta elää nyt SSD: llä. Viimeisin määrä SSD - ehdottomasti viimeisin SSD-yksikkö on tulossa Samsung - kaksikymmentä gigatavua, mikä on valtava. Nyt se elää muistissa siinä mielessä, että tietojen ensisijainen kopio voi olla muistissa eikä levyllä. Meillä ei tapana rakentaa sellaisia järjestelmiä; teemme nyt. Ja se elää pilvessä. Mikä tarkoittaa, että se voi elää missä tahansa näistä asioista, pilvessä. Et välttämättä tiedä missä se on pilvessä, sinulla on vain sen osoite.
Hadoop on toistaiseksi epäonnistunut vain kootakseen kohtaan pisteen laajennettavana tietovarastona. Olimme toivoneet, että siitä tulee laajennettavissa oleva tietovarasto, ja siitä tulee vain yksi tiedostojärjestelmä kaikelle, ja niin se olisi - sateenkaarit ilmestyisivät taivaalle pohjimmiltaan ja yksisarviset tanssisivat ympäriinsä, eikä mitään näin tapahtuisi. Mikä tarkoittaa, että joudumme lopulta tietoliikenneongelmaan, ja tiedonsiirtoon ei ole toisinaan välttämätöntä, mutta se on myös vaikeus. Tiedot todellakin ovat painovoimaisia nykyään, kun olet jo päässyt monen teratavun dataan, poiminnasta ja heittämisestä ympärilleen, se aiheuttaa latenssien esiintymisen verkossa tai näkymisen eri paikoissa. Jos haluat siirtää tietoja ympäri, ajoitus on tekijä. Nykyään melkein aina on joitain rajoituksia, kuinka paljon aikaa sinulla on yhden asiakirjan, yhden tiedon hankkimiseen paikasta toiseen. Aikaisemmin ajattelimme eräikkunoina, kun kone oli tavallaan tyhjäkäynnillä, ja riippumatta siitä, kuinka paljon dataa sinulla oli, voit vain heittää sen ympäri ja kaikki toimisi. No, se on mennyt, elämme paljon enemmän reaaliaikaisessa maailmassa. Siksi ajoitus on tekijä. Heti kun haluat siirtää tietoja, joten jos tiedossa on painovoimaa, et todennäköisesti voi siirtää sitä.
Tietojen hallinta on tekijä siinä mielessä, että olet itse saanut hallita kaikkia näitä tietoja, et saa sitä ilmaiseksi, ja replikointi voi olla tarpeen, jotta tiedot saadaan tosiasiassa suorittamaan tarvittava työ, koska se saattaa älä ole minne tahansa olet pannut sen. Sillä ei ehkä ole riittäviä resursseja tietojen normaalin käsittelyn suorittamiseksi. Joten tiedot replikoituvat ja tiedot replikoituvat enemmän kuin voisit kuvitella. Luulen, että joku kertoi minulle jo kauan sitten, että keskimääräinen tieto toistetaan ainakin kaksi ja puoli kertaa. ESB tai Kafka tarjoavat vaihtoehdon tiedonkululle, mutta nykyään se vaatii arkkitehtuuria. Nykyään sinun on todella mietittävä tavalla tai toisella sitä, mitä tietojen heittäminen tosiasiallisesti tarkoittaa. Siksi tietojen käyttö siellä missä se on, on yleensä parempi, kunhan tietysti voit saada tarvitsemasi suorituskyvyn, kun tosiasiallisesti etsit tietoja ja se riippuu con. Joten tilanne on joka tapauksessa vaikea. Tietokyselyjen suhteen pystyimme aikaisemmin ajattelemaan SQL: tä. Olemme nyt keksineet oikeasti nyt kyselyiden erilaisia muotoja, SQL kyllä, mutta vierekkäiset, myös kuvaajakyselyt, Spark on vain yksi esimerkki kuvaajan tekemisestä , koska myös meidän on tehtävä hakuja, enemmän kuin koskaan aikaisemmin, myös regex-tyyppisiä hakuja, mikä on todella monimutkaista kuvioiden etsintää ja aitoa kuvioiden vastaavuutta, kaikki nämä asiat kuplivat tosiaan. Ja ne kaikki ovat hyödyllisiä, koska ne antavat sinulle mitä etsit, tai he voivat saada sinut mitä etsit.
Nyt päivät sisältävät kyselyt kattavat useita tietoja, joten se ei aina tehnyt niin, ja usein suorituskyky on kauhistuttava, jos teet niin. Joten, se riippuu olosuhteista, mutta ihmiset odottavat kykenevänsä kysymään tietoja useista tietolähteistä, joten tietyn tyyppisten tietojen yhdistäminen on yhä ajankohtaisempaa. Tietojen virtualisointi, joka on erilainen tapa tehdä se suorituskyvystä riippuen, on myös erittäin yleinen. Tietokyselyt ovat itse asiassa osa prosessia, ei koko prosessia. On vain syytä huomauttaa, että jos tarkastellaan tosiasiallisesti analytiikan suorituskykyä, todellinen analysointi voi viedä kauhistuttavan paljon kauemmin kuin tiedonkeruu, koska se riippuu olosuhteista, mutta tietokyselyt ovat ehdottoman välttämättömiä, jos haluat tehdä tällainen analyysi useilla tietolähteillä, ja se vain, sinun on todellakin oltava ominaisuuksia, jotka kattavat.
Joten luetteloista.Luettelot ovat olemassa syystä, ainakin sanomme, että tiedätkö sen, meillä on hakemistoja ja skeemoja tietokannoissa, ja meillä on jokainen luettelo ja meillä on minne ikinä menetkin, löydät yhden paikan ja sitten todella huomaa, että siellä on jonkinlainen luettelo, ja yhtenäinen globaali luettelo on selvästi hyvä idea. Mutta hyvin harvoilla yrityksillä on sellainen asia. Muistan, että vuonna 2000 - kaksituhatta paniikkia - muistan, että kommunistit eivät pystyneet edes selvittämään, kuinka monta suoritettavissa olevaa ohjelmaa heillä olivat, vaikka et ajattelekaan kuinka monta erilaista tietovarastoa heillä oli, ja todennäköisesti tilanne on nyt, sinäkin tietävät, että useimmat yritykset eivät tiedä aktiivisesti globaalisti, mitä tietoja he ovat saaneet. Mutta tietysti on yhä tarpeellisempaa saada globaali luettelo tai ainakin olla kokonaisvaltainen kuva siitä, mitä tapahtuu tietolähteiden kasvun ja sovellusten jatkuvan kasvun vuoksi, ja se on erityisen välttämätöntä analyysille, koska sinäkin yhdellä tavalla, ja täällä on muitakin kysymyksiä, kuten sukulaisuus ja dataongelmat, ja se on välttämätöntä turvallisuudelle, monille tiedonhallinnan näkökohdille, jos et todella tiedä mitä tietoja sinulla on, ajatus siitä, että sinä aiomme hallita sitä on järjetöntä. Joten se, että kaikki tiedot on luetteloitu jollain tavalla, on vain tosiasia. Kysymys on, onko luettelo johdonmukainen, ja oikeasti mitä voit tehdä sillä. Joten siirron takaisin Rebeccaan.
Rebecca Jozwiak: Okei, kiitos Robinille. Seuraavaksi meillä on David Crawford Alationista, David aion mennä eteenpäin ja välittää pallon sinulle, ja voit ottaa sen pois.
David Crawford: Kiitos paljon. Arvostan todellakin, että olette minua tässä näyttelyssä. Luulen aloittavani tämän, joten uskon, että tehtäväni tässä on ottaa osa tästä teoriasta ja nähdä, kuinka sitä todella sovelletaan ja tulokset, joita pystymme ajamaan todellisten asiakkaiden kohdalla ja niin näet muutama dioilla, haluan puhua siitä, mitä tuloksia voimme nähdä analyyttisissä mahdollisesti parannuksissa. Joten keskustelun motivoimiseksi aiomme puhua siitä, kuinka he pääsivät sinne. Joten olen onnekas pääsemään työskentelemään melko läheisessä yhteistyössä useiden todella älykkäiden ihmisten, näiden asiakkaiden kanssa, ja haluan vain tuoda esiin muutaman, jotka ovat pystyneet mittaamaan, ja puhumaan siitä, kuinka tietokatalogi on vaikuttanut heidän analyytikkoonsa työnkulku. Ja vain pysyäkseni lyhyen eturintaman mielestäni yksi asioista, joita näemme muuttuvan, sisältäen tietokatalogi jaet aiempien välittämien ratkaisujen kanssa ja yksi tapa, jolla suhteet todella ajattelevat kokoamiamme ratkaisuja, on aloittaa analyytikoilta ja työskentele taaksepäin. Sanotaan, että tehdään tämä analyytikoiden tuottavuuden mahdollistamiseksi. Toisin kuin pelkkä noudattaminen tai pelkkä inventaarion luominen, olemme tekemässä työkalua, joka tekee analyytikoista tuottavampia.
Joten kun puhun tietoteknikon kanssa rahoituspalveluyrityksellä Square, siellä on kaveri Nick, joka kertoi meille kuinka hänen, hänellä kului useita tunteja löytää oikea tietojoukko raportin aloittamiseen, nyt hän voi tee se muutamassa sekunnissa käyttämällä hakua markkinaosuudella, keskustelemme heidän CTO: nsa kanssa, joka veti hänen analyytikoitaan, jotka käyttivät Square: ta, anteeksi, käytti Alaa, saadakseen selville, mitä heidän, minkälaisia etuja he näkivät, ja he ilmoittivat 50 Prosenttiosuus tuottavuuden lisäämiselle, ja koska yhdellä maailman parhaista jälleenmyyjistä, eBayssa, heillä on yli tuhat ihmistä, jotka tekevät säännöllisesti SQL-analyysejä, ja työskentelen melko läheisesti Deb Saysin kanssa, joka on projekti tietovälinetyöryhmän päällikkö, ja hän huomasi, että kun kyselyt hyväksyvät Alaation, hyväksyvät luettelon, he näkevät kaksinkertaisen nopeuden kirjoittaa uusia kyselyitä tietokantaa vastaan.
Joten nämä ovat todellisia tuloksia, nämä ovat ihmisiä, jotka tosiasiallisesti soveltavat luetteloa organisaatiossaan, ja haluan opastaa sinut läpi mitä tarvitaan perustamiseen. Kuinka luettelo vakiintuu yritykseen ja mikä on ehkä tärkeintä sanoa, on se, että suuri osa siitä tapahtuu automaattisesti, joten Dez puhui järjestelmistä, järjestelmien oppimisesta, ja juuri sen tekee nykyaikainen tietoluettelo. Joten he asentavat Alation-tietokeskukseensa ja yhdistävät sen sitten dataympäristön eri metatietolähteisiin. Keskityn vähän tietokantoihin ja BI-työkaluihin - molemmista näistä puretaan teknisiä metatietoja, pohjimmiltaan siitä, mitä on olemassa. Eikä, niin mitkä pöydät? Mitä raportteja? Mitkä ovat raportin määritelmät? Joten he purkavat kyseisen teknisen metatiedon, ja luettelosivu luodaan automaattisesti jokaiselle näiden järjestelmien sisällä olevalle objektille, ja sitten he myös purkaavat ja kerrostavat kyseisen teknisen metatiedon päälle, kerroittavat käyttödatan päälle. Tämä tehdään ensisijaisesti lukemalla kyselylokeja tietokannasta, ja tämä on todella mielenkiintoinen tietolähde. Joten aina, kun analyytikko kirjoittaa kyselyn, aina kun raportointityökalu on riippumatta siitä, onko se kotikasvatettu vai hyllyltä, suorittaako raportointityökalu kyselyn kojetaulun päivittämiseksi, kun sovellus suorittaa kyselyn tietojen lisäämiseksi toimimaan tietojoukko - kaikki nämä asiat tallennetaan tietokantakyselylokeihin. Onko sinulla luetteloa vai ei, ne tallennetaan kyselylokiin tietokannan kanssa. Mitä tietokatalogi voi tehdä, ja varsinkin mitä Alations-luettelo voi tehdä, lue nämä lokit, kysy niiden sisällä olevat kyselyt ja luo todella mielenkiintoinen käyttökaavio näiden lokien perusteella, ja otamme sen käyttöön tiedottaakseen tuleville käyttäjille tietoja siitä, kuinka tietojen aiemmat käyttäjät ovat käyttäneet sitä.
Joten tuomme kaiken tämän tiedon yhteen luetteloon, ja vain tämän tyyppiseksi tekemiseksi, nämä ovat integraatiot, jotka on jo asennettu asiakkaille, joten olemme nähneet Oracle, Teradata, Redshift, Vertica ja joukon muita relaatiotietokannat. Hadoopin maailmassa Hadoopilla on valikoima SQL-tyyppejä, eräänlainen relaatio-, meta-kauppoja Hadoop-tiedostojärjestelmän, Impala, Tez, Presto ja Hive, päällä. Olemme nähneet menestystä myös pilvipalvelun Hadoopin yksityisillä palveluntarjoajilla, kuten Altiscale, ja me ovat myös pystyneet muodostamaan yhteyden Tableau-palvelimiin, MicroStrategy-palvelimiin ja indeksoimaan siellä olevat kojetaulut, samoin kuin integroinnit datatieteen kartoitustyökaluihin kuten Plotly.
Joten, olemme yhteydessä kaikkiin näihin järjestelmiin, olemme yhdistäneet nämä järjestelmät asiakkaisiin, olemme vetäneet sisään teknisiä metatietoja, olemme vetäneet käyttötiedot ja lajittelimme automaattisesti tietokatalyysin, mutta tällä tavalla me keskittää tiedon, mutta pelkästään keskittämällä asiat tietoluetteloon, ei sinällään tarjoa niille todella upeita tuottavuuden parannuksia, joista olemme puhuneet eBayn, Squaren ja markkinaosuuden kanssa. Jotta voimme tehdä niin, meidän on itse asiassa muutettava tapaa, jolla ajattelemme tiedon toimittamista analyytikoille. Yksi niistä kysymyksistä, joita he kysyvät valmistautuakseen tähän, oli "Kuinka luettelo todella vaikuttaa analyytikon työnkulkuun?"
Siihen me vietämme koko päivän ajatellessani, ja puhuakseni tästä ajattelun muutoksesta, joka koskee push-jakeet pull-mallia, halusin tehdä nopean analogian siitä, millainen maailma oli ennen ja jälkeen lukemisen Kindlessa. Joten se on vain kokemus, joka joillakin toisilla saattaa olla, kun luet fyysistä kirjaa, törmänät sanaan, et ole varma, että tiedät sanan määritelmän erittäin hyvin, voit ehkä arvata sen harkiten, ei niin todennäköisesti, että sinä aiomme nousta sohvalta, kävellä kirjahyllyllesi, löytää sanakirjasi, pölyttää sen ja kääntyä oikeaan paikkaan aakkosellisessa sanaluettelossa varmistaaksesi, että kyllä, sinulla oli tämä määritelmä aivan oikein, ja tiedät sen vivahteet. Joten sitä ei todellakaan tapahdu. Joten ostat Kindle-sovelluksen ja alat lukea kirjoja siellä, ja näet sanan, josta et ole täysin varma, ja kosketat sanaa. Yhtäkkiä, aivan samassa näytössä, on sanan sanakirjan määritelmä kaikilla sen vivahteilla, erilaisilla esimerkkikäytöksillä, pyyhkäisemällä hiukan, ja saat Wikipedia-artikkelin aiheesta, pyyhkäise taas, saat käännöstyökalun, joka pystyy kääntämään sen muille kielille tai muille kielille, ja yhtäkkiä kielitaidosi on paljon rikkaampi, ja se tapahtuu vain hämmästyttävän monta kertaa verrattuna siihen, kun piti käydä ja vedä se resurssi itsellesi.
Joten aion väittää, että analyytikon työnkulku ja tapa, jolla analyytikko käsittelee tietodokumentaatiota, on oikeastaan hyvin samanlainen kuin miten lukija toimii vuorovaikutuksessa sanakirjan kanssa, onko se fyysinen, tai vaikka Kindle, ja niin me, tapa, jolla näimme tämän tuottavuuden lisääntymisen, olemme tyhjentämässä luetteloa, vaan yhdistämällä se analyytikon työnkulkuun, ja niin he ovat pyytäneet minua tekemään demo täällä, ja haluan tämän esityksen painopisteeksi. Mutta haluan vain perustaa conet demossa. Kun ajattelemme tietojen siirtämistä käyttäjille, kun he tarvitsevat sitä, ajattelemme oikea paikka tehdä se, paikka, jossa he viettävät aikansa ja missä he tekevät analyysejä, on SQL-kyselytyökalu. Paikka, jossa kirjoitat ja suoritat SQL-kyselyjä. Ja niin me rakensimme yhden ja rakensimme sen, ja asia, joka todella eroaa siitä muista kyselytyökaluista, on sen syvä integraatio tietoluetteloon.
Joten kyselytyökalumme on nimeltään Alation Compose. Se on verkkopohjainen kyselytyökalu, ja Ill näyttää sen sinulle sekunnissa. Verkkopohjainen kyselytyökalu, joka toimii kaikissa niistä tietokannan logoista, jotka näit edellisessä diassa. Yritän etenkin demoa esittelemällä tapa, jolla luettelotiedot tulevat käyttäjille. Ja se tekee sen näillä kolmella eri tavalla. Se tekee sen väliintulon kautta, ja siinä tapauksessa, että joku, joka on tietojen pääkäyttäjä tai tietojen ylläpitäjä tai jonkinlainen järjestelmänvalvoja tai hallinnoija, voi sanoa: ”Haluan erota huomautuksen tai varoituksen työnkulun ja varmista, että se toimitetaan käyttäjille oikeaan aikaan. ”Joten se on interventio ja osoittaa sen hyvin.
Älykkäät ehdotukset ovat tapa, jolla työkalu käyttää kaikkia kokonaistietoaan luettelosta ehdottaakseen kyselyn objekteja ja osia kirjoittaessasi sitä. Tärkeintä on tietää, että kyselyloki todella hyödyntää sitä tehdäkseen, ehdottaa asioita käytön perusteella ja löytää myös jopa aiemmin kirjoitettujen kyselyiden osia. Ja osoita se hyvin.
Ja sitten esikatselut. Esikatselut ovat, kun kirjoitat objektin nimeä, osoitamme sinulle kaiken, mitä luettelo tietää, tai ainakin tärkeimmät asiat, jotka luettelo tietää objektista. Joten näytteet tiedoista, jotka olivat käyttäneet sitä aiemmin, objektin looginen nimi ja kuvaus, tulevat kaikki sinulle kirjoitettaessa sitä ilman, että sinun tarvitsee mennä pyytämään sitä.
Joten puhumatta enempää, pääsen demiin ja odotan vain odottavan sen ilmestymistä. Aion näyttää sinulle täällä on kyselytyökalu. Se on omistettu SQL-kirjoitusrajapinta. Se on erillinen käyttöliittymä luettelosta, tietyssä mielessä. Dez ja Robin puhuivat luettelosta, ja Im hyppää hiukan luettelon käyttöliittymän yli suoraan siihen, kuinka se toi suoraan palvelun työnkululle.
Näytän vain täällä paikan, johon voin kirjoittaa SQL: n, ja alareunassa näet, että meillä on jonkin verran tietoa esineistä, joihin viitataan. Joten aloitan vain kirjoittaa kyselyn ja lopetan, kun pääsen johonkin näistä interventioista. Joten kirjoitan "valitse" ja haluan vuoden. Haluan nimen. Ja aion etsiä joitain palkatietoja. Joten tämä on koulutusaineisto. Siinä on tietoa korkeakouluista, ja tarkastelen tiedekuntien keskipalkkaa, joka on yhdessä näistä taulukoista.
Joten Ive todella kirjoitti sanan "palkka". Se ei ole tarkalleen sarakkeen nimessä tällä tavalla. Käytämme sekä loogisia metatietoja että fyysisiä metatietoja ehdotusten tekemiseen. Ja mitä haluan huomauttaa täällä, tämä keltainen laatikko on täällä näkyvä. Siinä sanotaan, että tässä sarakkeessa on varoitus. En tiennyt etsimään sitä, en ottanut luokkaa kuinka käyttää näitä tietoja oikein. Se tuli minulle, ja se sattuu olemaan varoitus salassapitosopimuksesta, joka liittyy näihin tietoihin. Joten siellä on joitain julkistamissääntöjä. Jos aion kysyä näitä tietoja, aion poistaa tietoja tästä taulukosta, minun pitäisi olla varovainen siitä, kuinka paljastelen ne. Joten sinulla on täällä hallintopolitiikka. Siellä on joitain sääntöjen noudattamiseen liittyviä haasteita, joiden ansiosta tämän politiikan noudattaminen on niin paljon helpompaa, kun tiedän siitä silloin, kun tarkastelen tietoja.
Joten Ive sai tuon keksimisen luokseni ja aion myös katsoa opetusta. Ja täällä näemme esikatselujen tulevan peliin. Tässä lukukausimaksussarakkeessa näen - opetuspylväät laitospöydällä ja näen profiilin siitä. Alation menee ja vetää näytteitä taulukoista, ja tässä tapauksessa se näyttää minulle jotain, joka on aika mielenkiintoista. Se osoittaa minulle arvojen jakauman ja osoittaa, että nolla-arvo näkyi näytteessä 45 kertaa ja enemmän kuin mikään muu arvo. Joten Ive sai jonkinlaisen käsityksen siitä, että saatamme puuttua joitain tietoja.
Jos olen edistynyt analyytikko, niin tämä saattaa olla osa työnkulkuani jo. Varsinkin jos olen erityisen huolellinen, jossa tekisin joukon profilointikysymyksiä etukäteen. Aina lähestyessäni uutta tietoa, mietin aina sitä, mikä on tietomme kattavuus. Mutta jos olen uusi tietoanalyysissä, jos olen uusi tässä tietojohdossa, voisin olettaa, että jos sarake on, se on täytetty koko ajan. Tai voin olettaa, että jos sitä ei ole täytetty, se ei ole nolla, nolla tai jotain sellaista. Mutta tässä tapauksessa meillä on paljon nollia, ja jos tekisin keskiarvon, ne olisivat todennäköisesti vääriä, jos vain olettaisin, että nuo nollat olivat tosiasiassa nolla puuttuvien tietojen sijaan.
Mutta Alation, tuomalla tämän esikatselun työnkulkuun, tavallaan pyytää sinua tutustumaan näihin tietoihin ja antaa jopa eräänlaisille aloitteleville analyytikoille mahdollisuuden nähdä, että siellä on jotain huomioitavaa tässä tiedossa. Joten meillä on tuo esikatselu.
Seuraava asia, jonka aion tehdä, on yrittää selvittää, mistä taulukoista saada nämä tiedot. Joten täällä näemme fiksut ehdotukset. Se on jatkunut koko ajan, mutta erityisesti täällä, en ole edes kirjoittanut mitään, mutta se aikoo ehdottaa minulle, mitä taulukoita haluaisin käyttää tähän kyselyyn. Ja tärkeintä tietää tämä on, että se hyödyntää käyttötilastoja. Joten esimerkiksi eBay-ympäristössä, jossa sinulla on satoja tuhansia taulukoita yhdessä tietokannassa ja jolla on työkalu, joka voi tyyppiä saada vehnä märeistä, ja käyttää näitä käyttötilastoja, on todella tärkeää näiden tekemisessä. ehdotuksia jotain.
Joten se aikoo ehdottaa tätä taulukkoa. Kun tarkastelen esikatselua, korostamme tosiasiassa kolme saraketta, jotka olen jo maininnut kyselyssäni. Joten tiedän, että sillä on kolme, mutta sillä ei ole nimeä. Minun täytyy saada nimi, joten aion tehdä liittymisen. Kun liittyin, nyt minulla on jälleen nämä esikatselut, jotka auttavat minua löytämään, missä on nimen sisältävä taulukko. Joten näen, että tällä nimellä on hienosti muotoiltu, sellainen oikein isoin kirjaimin käytetty nimi. Vaikuttaa siltä, että jokaisella laitoksella on yksi rivi nimellä, joten aion tarttua siihen, ja nyt tarvitsen liittymisehdot.
Ja niin, tässä, mitä Alation tekee, se tarkastelee jälleen kyselylokeja, näkee aikaisemmin, että nämä kaksi taulukkoa on liitetty, ja ehdottaa erilaisia tapoja liittyä niihin. Jälleen kerran, siellä on joitain interventioita. Jos tarkastelen yhtä näistä, se sai varoituksen, joka osoittaa minulle, että sitä tulisi käyttää vain kokonaisanalyysiin. Se todennäköisesti tuottaa väärän asian, jos yrität tehdä jotain laitoksen kautta laitokselta. Tätä OPE-tunnuksella varustettua taulukkoa pidetään oikeana tapana yhdistää nämä kaksi taulukkoa, jos haluat yliopistotason tietoja. Joten teen sen, ja se on lyhyt kysely, mutta Ive kirjoitti kyselyni ilman, että minulla olisi oikeastaan välttämättä mitään tietoa siitä, mitä tiedot ovat. En ole koskaan tarkastellut tämän tietojoukon ER-kaaviota, mutta tiedän jo melko paljon näistä tiedoista, koska asiaankuuluvat tiedot ovat saapuneet minulle.
Joten nämä ovat tavallaan kolme tapaa, joilla luettelo voi integroidun kyselytyökalun kautta vaikuttaa suoraan työnkulkuun kirjoittaessasi kyselyjä. Mutta yksi muista eduista, jotka johtuvat kyselytyökalun integroimisesta luetteloon, on se, että kun valmistan kyselyni ja tallenn sen, voin laittaa otsikon, kuten ”Institution Opetus ja tiedekunnan palkka”, ja sitten minulla on täällä painike, joka antaa minun julkaista sen vain luetteloon. Minusta on erittäin helppoa syöttää tämä takaisin. Vaikka en julkaise sitä, sen sieppaaminen osana kyselylokea, mutta julkaisessani siitä tulee itse asiassa osa tapaa, jolla keskitetty paikka, jossa kaikki tietotiedot asuvat.
Joten jos napsautin Etsi kaikkia kyselyjä Alation-sovelluksessa, otan minut käyttöön - ja täällä näet lisää luettelon käyttöliittymää - siirrytään omistettuun kyselyhakuun, joka näyttää minulle tavan löytää kyselyjä koko organisaatiosta. Ja huomaat, että juuri julkaistu kyselyni on yläosassa. Ja jotkut saattavat huomata täällä, kun pyydystämme kyselyitä, sieppaamme myös kirjoittajia, ja me jollakin tavalla luomme tämän suhteen minut kirjoittajana ja näiden tietoobjektien välillä, joista nyt tiedän jotain. Ja minua vakiinnutetaan asiantuntijaksi tässä kyselyssä ja näissä tietoobjekteissa. Se on todella hyödyllistä, kun ihmisten on mentävä oppimaan tietoja, jolloin he voivat löytää oikean henkilön oppimaan tietoja. Ja jos olen tosiasiallisesti uusi tietoihin, olipa kyse sitten edistyneestä analyytikosta - edistyneenä analyytikkona, voin tarkastella tätä ja nähdä joukon esimerkkejä, jotka saavat minut aloittamaan uuden tietojoukon. Koska joku, joka ei ehkä ole erityisen taitava SQL: n suhteen, voin löytää valmiita kyselyitä, jotka ovat raportteja, joita voin hyödyntää.
Tässä on Phil Mazanettin yksi keskimääräisistä SAT-pistemääristä. Napsauta tätä ja saan eräänlaisen luettelosivun itse kyselylle. Se puhuu kirjoitetusta artikkelista, joka viittaa tähän kyselyyn, joten siellä on joitain ohjeita, jotka minun on luettava, jos haluan oppia sen käyttämistä. Ja voin avata sen kyselytyökalussa napsauttamalla Luo-painiketta ja voin suorittaa sen täällä itse edes muokkamatta sitä. Ja itse asiassa, näet hiukan kevyistä raportointiominaisuuksistamme, joissa kirjoittaessasi kyselyä voit pudottaa tällaisen mallimuuttujan ja se luo yksinkertaisen tavan luoda lomake kyselyn toteuttamiseksi pari parametria.
Joten thats mitä minulla on demosta. Aion vaihtaa takaisin dioihin.Vain eräänlaisena huomautuksena osoitimme, kuinka järjestelmänvalvoja, tietohallintojohtaja voi puuttua asettamalla varoituksia kyselytyökalussa näkyviin kohteisiin, kuinka Alation käyttää tietämystä tietokohteiden käytöstä älykkäiden ehdotusten tekemiseen, miten se tuo profiloinnissa ja muissa vinkissä parantaa analyytikoiden työnkulkuja koskettaessaan tiettyjä esineitä ja kuinka kaikki tällainen syötetään takaisin luetteloon, kun uusia kyselyjä kirjoitetaan.
Ilmeisesti olen tiedottaja yrityksen puolesta. Aion sanoa mukavia asioita tietoluetteloista. Jos haluat kuulla suoraan yhdeltä asiakkaaltamme, Kristie Allen Safewaylla johtaa analyytikkotiimiä ja hänellä on todella hieno tarina ajasta, jolloin hänen täytyi todella lyödä kelloa markkinointikokeen toimittamiseksi, ja kuinka koko hänen koko joukkue käytti Alation-yhteistyötä tehdäkseen yhteistyötä ja kääntyäkseen nopeasti projektiin. Joten voit seurata tätä bit.ly-linkkiä tarkistaaksesi tarinan, tai jos haluat kuulla vähän siitä, kuinka Alation voisi tuoda tietoluettelon organisaatioosi, olemme iloisia perustaessamme henkilökohtaisen esittelyn. Kiitos paljon.
Rebecca Jozwiak: Kiitos paljon, David. Olen varma, että Dezillä ja Robinilla on muutama kysymys ennen kuin esitän yleisön kysymykset ja vastaukset. Dez, haluatko mennä ensin?
Dez Blanchfield: Ehdottomasti. Rakastan ajatusta tästä julkaistujen kyselyiden käsitteestä ja linkin se takaisin kirjoittamisen lähteeseen. Olen ollut pitkäaikainen mestari ajatuksessa sisäisestä sovelluskaupasta, ja mielestäni tämä on todella hyvä perusta rakentaa siihen.
Tulin tavallaan saamaan käsityksen joihinkin organisaatioihin, joita näet tekemässä tätä, ja joihinkin menestystarinoihin, joita heillä mahdollisesti on ollut koko tämän matkan aikana, jossa hyödynnetään työkaluasi ja alustasi tietojen löytämiseksi, mutta myös sitten muuttaa heidän sisäisiä kulttuurisia ja käyttäytymispiirteitään ympäri. Nyt sinulla on tällainen oma sovellusliike, josta voit vain ladata, konseptin, jonka kautta he eivät vain löydä sitä, vaan he voivat itsekin alkaa kehittää pieniä yhteisöjä tiedon ylläpitäjien kanssa.
David Crawford: Joo, mielestäni olemme yllättyneitä. Uskomme kyselyjen jakamisen arvoon sekä menneisyydestäni Adtechin tuotepäällikkönä että kaikilta asiakkailta, joiden kanssa olemme puhuneet, mutta Ive on silti yllättynyt siitä, kuinka usein se on yksi ensimmäisistä asioista, joista asiakkaat puhuvat arvostavat sitä, että he pääsevät pois Alaatiosta.
Suoritin jonkin verran käyttäjän testaamista kyselytyökalua yhdellä asiakkaamme nimeltä Invoice2go, ja heillä oli suhteellisen uusi tuotepäällikkö, ja he sanoivat - hän itse kertoi minulle, käyttämättömän testin aikana, "En todellakaan halua kirjoittaa. SQL ollenkaan, paitsi että se on helpottanut Alation. "Ja tietysti pääministeerinä menen sellaisenaan:" Mitä tarkoitat, kuinka teimme sen? "Ja hän sanoi:" No, oikeasti se johtuu vain siitä, että minä voin kirjautua sisään ja näen kaikki nämä olemassa olevat kyselyt. ”Aloittaminen tyhjästä taulukosta SQL: llä on uskomattoman vaikea tehtävä, mutta olemassa olevan kyselyn muuttaminen, jossa voit nähdä tulokset, jotka on laitettu ulos ja sanoa:” Voi , Tarvitsen vain tämän ylimääräisen sarakkeen ”tai“ Minun on suodatettava se tietylle ajanjaksolle ”, mikä on paljon helpompaa tehdä.
Olemme nähneet eräänlaisia näistä apurooleista, kuten tuotepäälliköt, ehkä myyntihenkilöt, jotka alkavat poimia ja jotka aina halusivat oppia SQL: n ja alkaa poimia sitä käyttämällä tätä luetteloa. Olemme myös nähneet, että monet yritykset ovat yrittäneet tehdä eräänlaista avointa lähdekoodia. Ive yritti rakentaa tällaisia asioita sisäisesti, missä he seurasivat kyselyjä ja asettivat sen saataville, ja siellä on joitain todella hankalia suunnittelun haasteita niiden hyödyntämiseksi. hänellä on ollut sisäinen työkalu, jota he kutsuivat HiPaliksi, joka eräänlaisena kaapasi kaikki Hivelle kirjoitetut kyselyt, mutta se, mitä huomaat, on, että jos et pilaa käyttäjiä oikealla tavalla, päädyt vain erittäin pitkään luetteloon valituista lauseista. Ja kun käyttäjä yrittää selvittää, onko kysely minulle hyödyllinen vai onko siitä mitään hyötyä, jos käyn vain läpi pitkän valittujen lauseiden luettelon, vie paljon kauemmin saadakseni jotain arvottomana siellä kuin aloittaa tyhjästä. Mietimme melko huolellisesti, kuinka tehdä kyselyluettelo, joka tuo oikeat asiat eteen ja tarjoaa sen hyödyllisellä tavalla.
Dez Blanchfield: Mielestäni me kaikki käymme läpi tämän matkan hyvin nuoresta iästä aikuisuuteen, monin tavoin. Joukko tekniikoita. Olen itse henkilökohtaisesti käynyt läpi saman aiton asian, kuten oppinut leikkaamaan koodia. Halusin käydä läpi lehtiä ja sitten kirjoja, ja opiskelen tietyn tason, ja sitten minun piti mennä ja oikeasti saada lisää koulutusta siitä.
Mutta vahingossa huomasin, että jopa menemässäni opettamaan itseäni, lukemaan lehtiä ja lukemaan kirjoja ja pilkkomalla muiden kansojen ohjelmia ja menemään sitä koskeville kursseille, päädyin silti oppimaan niin paljon tekemään kursseja kuin puhuin vain muille. ihmiset, joilla oli kokemuksia. Ja mielestäni se oli mielenkiintoinen löytö, joka nyt kun tuodaan tietoanalytiikkaan, näki pohjimmiltaan saman rinnakkain, että ihmiset ovat aina melko älykkäitä.
Toinen asia, jota todella haluan ymmärtää, on erittäin korkealla tasolla, että monet organisaatiot kysyvät: "Kuinka kauan kestää pääsy siihen pisteeseen?" Mikä on kärkipaikka aikataulussa, kun ihmiset saavat alustasi asennettuna ja he alkoivat löytää työkaluja? Kuinka nopeasti ihmiset vain tavallaan näkevät tämän asian muuttuvan todella välittömäksi "a-ha" -hetkeksi, jolloin he ymmärtävät, että he eivät ole enää edes huolissaan sijoitetun pääoman tuottoprosentista, koska se on olemassa, mutta nyt he todella muuttavat liiketoimintaa? Ja he ovat löytäneet kadonneen taiteen ja odottavat voivansa tehdä jotain todella, todella hauskaa sen kanssa.
David Crawford: Joo, voin koskea sitä hiukan. Luulen, että kun asennamme, yksi hienoista asioista, joista ihmiset pitävät suoraan tietojärjestelmiin kytketystä luettelosta, on, että et aloita tyhjää missä sinun on tyyppi täytettävä se sivulla sivu. Ja tämä on totta totta aiemmissa dataratkaisuissa, joissa joudut aloittamaan tyhjällä työkalulla ja joudut aloittamaan sivun luomisen kaikelle, jonka haluat dokumentoida.
Koska dokumentoimme niin monet asiat automaattisesti purkamalla metatiedot, lähinnä muutaman päivän kuluessa ohjelmiston asentamisesta, sinulla on kuva tietoympäristöstäsi, joka on vähintään 80 prosenttia siellä työkalussa. Ja sitten luulen heti, kun ihmiset alkavat kirjoittaa kyselyjä työkalulla, ne tallennetaan automaattisesti takaisin luetteloon ja niin he alkavat myös näkyä.
En halua olla liian innokas ilmoittamalla sitä. Mielestäni kaksi viikkoa on melko hyvä varovainen arvio kuukauteen. Kaksi viikkoa kuukauteen, konservatiivinen arvio todella kääntyä ympäri ja tuntea kuin saat siitä hyötyä, kuin kuin alat jakaa tietoa ja pystyä menemään sinne ja selvittämään tietojasi tiedoista.
Dez Blanchfield: Se on todella hämmästyttävää, kun mietit sitä. Tosiasia, että joidenkin suurten tietoalustojen, joiden indeksointi ja luettelointi ovat tehokkaita, toteutus, käyttöönotto ja seisonta oikein kestää joskus jopa vuoden.
Viimeinen kysymys, jonka sain sinulle ennen kuin luovutin Robin Bloorille, on liittimet. Yksi niistä asioista, joka hyppää heti minua kohti, on selvä, että koko haaste on selvitetty. Joten pari kysymystä on todella nopeaa. Yksi, kuinka nopeasti liittimet otetaan käyttöön? Aloitat tietysti suurimmalla alustalla, kuten Oracles ja Teradatas ja niin edelleen ja DB2. Mutta kuinka säännöllisesti näet uusien liittimien tulevan läpi, ja kuinka läpimenoaikaa ne käyttävät? Kuvittelen, että sinulla on heille vakiokehys. Ja kuinka syvälle sinä mene niihin? Esimerkiksi maailman oraakit ja IBM: t, ja jopa Tereadata, ja sitten jotkut suosituimmista myöhäisistä avoimen lähdekoodin alustoista. Työskentelevätkö he suoraan kanssasi? Löydätkö sen itse? Onko sinulla oltava sisäpiiritieto näillä alustoilla?
Miltä näyttää muodostua liittimen kehittäminen, ja kuinka syvällisesti osallistut kumppanuuksiin varmistaaksesi, että nämä liittimet löytävät kaiken mitä pystyt?
David Crawford: Kyllä, se on hieno kysymys. Uskon, että pääosin voimme kehittää liittimiä. Teimme varmasti, kun olimme nuorempi startup, eikä meillä ollut asiakkaita. Voimme kehittää yhteyksiä varmasti tarvitsematta sisäistä pääsyä. Emme koskaan saa erityistä pääsyä tietojärjestelmiin, jotka eivät ole yleisesti saatavilla, ja usein ilman sisäpiiritietoa. Hyödynnämme itse tietojärjestelmien metatietopalveluita. Usein ne voivat olla melko monimutkaisia ja vaikeita työskennellä. Tunnen erityisesti SQL Serverin, sen, kuinka he hallitsevat kyselylokeja, siellä on useita erilaisia kokoonpanoja ja sitä jotain, missä sinun on todella työskenneltävä. Sinun on ymmärrettävä sen vivahteet ja nupit ja soittimet, jotta se voidaan asentaa oikein, ja se on jotain, jonka parissa työskentelemme asiakkaiden kanssa, koska olemme tehneet sitä useita kertoja aiemmin.
Mutta tietyssä määrin sen hyödyntämät julkiset sovellusliittymät, joita on saatavana, tai käytettävissä olevat julkiset rajapinnat. Meillä on kumppanuussuhteita useiden näiden yritysten kanssa, mikä on useimmiten sertifioinnin peruste, jotta he tuntevat olonsa mukavaksi sanoessaan, että toimimme ja he voivat myös tarjota meille resursseja testaamiseen, joskus jo varhain päästä käsiksi alustalle, joka tulee ulos varmistaaksemme, että työskentelemme uusien versioiden parissa.
Kiertääkseni uuden yhteyden sanoisin jälleen, että yritän olla varovainen, sanotun siis kuudesta viikosta kahteen kuukauteen. Se riippuu siitä, kuinka samanlainen se on. Joten jotkut Postgre toimii tyypiltään hyvin samanlaiselta kuin Redshift. Redshift ja Vertica jakavat paljon yksityiskohtia. Joten voimme hyödyntää näitä asioita. Mutta kyllä, kuusi viikkoa tai kaksi kuukautta olisi reilua.
Meillä on myös sovellusliittymiä, joten - ajattelemme Alaa myös metatietoalustana, joten jos jotain, jota meillä ei ole käytettävissä tavoittaaksesi ja tarttua automaattisesti, on olemassa tapoja, joilla voit kirjoittaa liitännän itse ja työntää sen järjestelmäämme niin että kaikki keskittyy yhä yhteen hakukoneeseen.
Dez Blanchfield: Fantastinen. Arvostan sitä, että. Joten aioin luovuttaa sen Robinille, koska olen varma, että hänellä on myös lukuisia kysymyksiä. Robin?
Rebecca Jozwiak: Robin voi olla mykkä.
Dez Blanchfield: Sinut on mykistetty.
Robin Bloor: Kyllä, oikein. Anteeksi, mykkäsin itseni. Kun toteutat tämän, mikä on prosessi? Olen utelias, koska monissa paikoissa voi olla paljon tietoa. Joten miten se toimii?
David Crawford: Kyllä, varmasti. Käynnistämme ensin tietyn tyyppisen tietotekniikkaprosessin, jolla varmistetaan palvelimillemme varaukset, että verkkoyhteydet ovat käytettävissä, portit ovat auki, jotta voimme tosiasiallisesti käyttää järjestelmiä. He kaikki tietävät usein, mistä järjestelmistä he haluavat aloittaa. Tietäen tietojärjestelmän sisällön, joka - ja joskus me todella autamme heitä. Auta heitä menemään hakemaan ensin kyselyloki ymmärtääkseen ketkä käyttävät mitä ja kuinka monta käyttäjää heillä järjestelmässä on. Auttaa siis selvittämään missä - he usein, jos heillä on satoja tai tuhansia ihmisiä, jotka voivat kirjautua tietokantoihin, he eivät todellakaan tiedä missä he kirjautuvat sisään, joten voimme selvittää kyselylokeista kuinka monta ainutlaatuista käyttäjätiliä tekevät olet tosiasiallisesti kirjautunut sisään ja suorittanut kyselyjä täällä noin kuukauden sisällä.
Joten voimme hyödyntää sitä, mutta usein vain tärkeimmissä. Saamme ne perustaa ja sitten tapahtuu prosessi, jossa sanotaan: "Annetaan priorisoida". Theres joukko toimintoja, joita voi tapahtua samanaikaisesti. Keskityn kyselytyökalun käytön koulutukseen. Heti kun ihmiset alkavat käyttää kyselytyökalua, monet ihmiset rakastavat sitä, että se on vain yksi käyttöliittymä kaikkiin eri järjestelmiin. He rakastavat myös sitä, että sen web-pohjainen, ei sisällä mitään asennuksia, jos he eivät halua. Turvallisuuden kannalta he haluavat, että niillä on eräänlainen yksi tulopiste, verkon kannalta yrityksen tietotekniikkaverkon ja tietokeskuksen välillä, jossa tuotantotietolähteet asuvat. Ja niin, he perustavat Alationin kyselytyökaluksi ja alkavat käyttää Composea kaikkien näiden järjestelmien yhteyspisteenä.
Joten kun se tapahtuu, keskitymme koulutukseen ymmärtämään, mitkä ovat erot työpöydällä olevilla verkko- tai palvelinpohjaisilla kyselytyökaluilla verrattuna yhdelle youd-työkalulle, ja eräät tämän käytön vivahteet. Ja samalla yritetään tunnistaa arvokkaimmat tiedot hyödyntämällä jälleen kyselylokin tietoja ja sanomalla: "Hei, saatat haluta käydä sisään ja auttaa ihmisiä ymmärtämään näitä. Aloitetaan julkaiseminen edustajakyselyjä näissä taulukoissa. ”Se on toisinaan tehokkain tapa saada ihmiset nopeasti nousemaan. Tarkastellaan omaa kyselyhistoriaasi, julkaistaan nämä asiat niin, että ne näkyvät ensimmäisinä kyselyinä. Kun ihmiset katsovat taulukkosivua, he näkevät kaikki kyseiseen taulukkoon kosketut kyselyt, ja he voivat aloittaa sieltä. Ja sitten alkaa lisätä otsikoita ja kuvauksia näihin objekteihin, jotta niitä on helpompi löytää ja etsiä, jotta tiedät joitain vivahteita sen käyttämiseen.
Varmistamme, että tutustumme kyselylokiin perusteellisesti, jotta voimme tuottaa linjaa. Yksi tekemistämme asioista on se, että katsomme kyselylokin läpi aikoinaan, kun tiedot liikkuvat taulukosta toiseen. Tämän avulla voimme esittää yhden yleisimmin esitetyistä kysymyksistä tietotaulukoita, mistä tämä tuli? Kuinka voin luottaa siihen? Joten mitä voimme näyttää, ei ole vain siitä, mistä muista taulukoista se tuli, vaan myös kuinka se muuttui matkan varrella. Jälleen tämä on eräänlainen powered by kyselylokin.
Joten varmistamme, että nuo asiat on asetettu ja että ne ovat tulleet järjestelmään, ja kohdistamme arvokkaimpiin ja tehokkaimmin käytettyihin metatietokappaleisiin, jotka pystymme saapumaan taulukkosivuille, niin että kun haet, löydät jotain hyödyllistä.
Robin Bloor: Okei. Toinen kysymys - ei aiheuta yleisölle paljon kysymyksiä, joten en halua viettää liikaa aikaa täällä - toinen kysymys, millainen mieleen tulee, on vain kipupisteet. Paljon ohjelmistoja ostetaan, koska ihmisillä on tavalla tai toisella vaikeuksia joihinkin. Joten mikä on yleinen kivunkohta, joka johtaa ihmiset Alaatioon?
David Crawford: Joo. Mielestäni niitä on muutamia, mutta mielestäni yksi niistä, joista kuulemme melko usein, on analyytikko lennolla. ”Tarvitsen lähiaikoina palkata 10, 20, 30 ihmistä, joiden on tuotettava uusia tietoja näistä tiedoista. Kuinka he aikovat nousta vauhtiin?” Joten analyytikoihin osallistuminen on asia, johon me varmasti puututaan. Theres myös vapauttaa vanhemmat analyytikot viettämästä kaiken aikansa vastaamalla muiden ihmisten tietoihin liittyviin kysymyksiin. Se on hyvin yleinen. Ja nämä molemmat ovat lähinnä koulutusongelmia.
Ja sitten sanoisin toisen paikan, jonka näemme ihmisten omaksumassa Alaatiota, kun he haluavat perustaa aivan uuden tietoympäristön jonkun työskentelemistä varten. He haluavat mainostaa ja markkinoida tätä sisäisesti, jotta ihmiset voivat hyödyntää sitä. Sitten Alationin tekeminen uuden analyyttisen ympäristön etulinjaksi on erittäin houkutteleva. Sillä on dokumentaatio, yhdellä esittelypisteellä - pääsy järjestelmiin, ja se on toinen paikka, jossa ihmiset tulevat luoksemme.
Robin Bloor: Okei, välitän sinut Rebeccaan, koska yleisö yrittää päästä sinuun.
Rebecca Jozwiak: Kyllä, meillä on täällä paljon todella hyviä yleisökysymyksiä. Ja David, tämä poseerattiin nimenomaan sinulle. Se on jollekulta, jolla on ilmeisesti jonkin verran kokemusta ihmisten kaltaisesta väärinkäytöstä, ja hän sanoo selvästi, että mitä enemmän voimme antaa käyttäjille valtaa, sitä vaikeampaa on hallita laskennallisten resurssien vastuullista käyttöä. Joten voit puolustaa väärien, mutta yleisten kyselylausekkeiden leviämistä vastaan?
David Crawford: Kyllä, näen tämän kysymyksen. Se on loistava kysymys - meillä on melko usein. Olen nähnyt tuskan itse aiemmissa yrityksissä, joissa sinun täytyy kouluttaa käyttäjiä. Esimerkiksi: "Tämä on lokitaulukko, sen lokit palautuvat vuosille. Jos aiot kirjoittaa kyselyn tähän taulukkoon, sinun on todellakin rajoitettava päivämäärällä. ”Joten esimerkiksi kyseessä on koulutus, jonka kävin läpi aiemmassa yrityksessä, ennen kuin minulle annettiin pääsy tietokantaan.
Meillä on muutama tapa yrittää puuttua tähän. Sanoisin, että mielestäni kyselylokin tiedot ovat todella ainutlaatuisen arvokkaita sen käsittelemiseksi. Se antaa uuden käsityksen verrattuna siihen, mitä tietokanta tekee sisäisesti kyselosuunnittelijan kanssa. Ja mitä me teemme, yksi niistä interventioista - meillä on manuaaliset interventiot, jotka osoitin, ja se on hyödyllistä, eikö? Joten tietyllä liittymisellä voit esimerkiksi sanoa: "Annetaan poistaa tämä." Siinä on iso punainen lippu, kun se näkyy älykkäässä ehdotuksessa. Joten se on yksi tapa yrittää päästä ihmisille.
Toinen asia, jota teemme, on automatisoitu toteutuksen yhteydessä tapahtuvissa interventioissa. Se tosiasiallisesti käyttää kyselyn jäsentävää puuta ennen kuin ajamme sen nähdä. Sisältääkö se tietyn suodattimen vai pari muuta asiaa, joita myös siellä teemme. Mutta yksi arvokkaimmista ja yksinkertaisin selittää on, sisältääkö se suodattimen? Joten kuten siinä esimerkissä, jonka juuri annoin, tässä lokitaulukossa, jos aiot kysyä sitä, on oltava päivämääräalue, voit määrittää taulukkosivulla, että valtuutat kyseisen ajanjakson suodattimen käyttämään. Jos joku yrittää suorittaa kyselyn, joka ei sisällä kyseistä suodatinta, se itse asiassa lopettaa heidät suurella varoituksella, ja se sanoo: ”Sinun pitäisi todennäköisesti lisätä kyselyyn jokin tällainen SQL.” He voivat jatkaa, jos haluavat . Emme aio kieltää heitä kokonaan käyttämästä sitä - myös kysely, sen piti päivän lopussa suorittaa kyselyitä. Asetamme heidän edessään melko suuren esteen ja annamme heille ehdotuksen, konkreettisen sovellettavan ehdotuksen kyselyn muuttamiseksi heidän suorituskyvyn parantamiseksi.
Teemme sen myös joissakin tapauksissa automaattisesti, tarkkailemalla kyselylokea. Jos näemme, että jotkut todella suuret prosenttiosuudet tämän taulukon kyselyistä hyödyntävät tiettyä suodatinta tai tiettyä liittymislauseketta, hyppää se oikein. Edistä sitä hyvin interventioon. Itse asiassa se tapahtui minulle sisäisessä tietokokonaisuudessa. Meillä on asiakastietoja ja meillä on käyttäjätunnuksia, mutta käyttäjätunnus on asetettu sen tyypistä lähtien - meillä on käyttäjätunnukset jokaisella asiakkaalla. Se ei ole ainutlaatuinen, joten sinun on paritettava se asiakastunnuksella, jotta saat yksilöllisen liittymisavaimen.Ja kirjoitin kyselyä ja yritin analysoida jotain, ja se ilmestyi ja sanoi: ”Hei, kaikki muut näyttävät liittyvän näihin taulukoihin sekä asiakastunnuksella että käyttäjätunnuksella. Oletko varma, etkö halua tehdä niin? ”Ja se itse asiassa esti minua tekemästä vääriä analyysejä. Joten se toimii sekä analyysin tarkkuuden että suorituskyvyn kannalta. Joten se on sellainen miten otamme tämän ongelman eteen.
Rebecca Jozwiak: Se vaikuttaa minusta olevan tehokasta. Sanoit, ettet välttämättä estä ihmisiä hankkimasta resursseja, mutta opetat heille jonkin verran, että heidän tekemänsä ei välttämättä ole paras, eikö niin?
David Crawford: Oletetaan aina, että käyttäjät eivät ole haitallisia - antavat heille parhaat aikomukset - ja yritämme olla melko avoimia tällä tavalla.
Rebecca Jozwiak: Okei. Tässä on toinen kysymys: “Mikä on ero katalogihallinnan, kuten ratkaisusi kanssa, ja MDM-työkalun välillä? Vai luottaako se tosiasiallisesti erilaiseen periaatteeseen laajentamalla kyselytaulukoiden valintaa, kun taas MDM tekisi sen automaattisesti, mutta samalla taustalla olevan metadatan keräämisen perustana. "
David Crawford: Joo, mielestäni kun tarkastelen perinteisiä MDM-ratkaisuja, ensisijainen ero on filosofinen. Kaiken siitä, kuka käyttäjä on. Aivan kuten sanoin esityksen alussa, Alation, luulen, että kun me perustettiin, me perustettiin tavoitteena antaa analyytikoille tuottaa enemmän oivalluksia, tuottaa niitä nopeammin, olla tarkempia näkemyksissä, joita he tuottaa. En usko, että se on koskaan ollut perinteisen MDM-ratkaisun tavoite. Nämä ratkaisut on yleensä suunnattu ihmisille, joiden on tuotettava raportteja siitä, mitä tietoja on talteen otettu SCC: lle tai sisäisesti muunlaista auditointitarkoitusta varten. Se voi joskus antaa analyytikoille mahdollisuuden, mutta jos useammin se antaa mahdollisuuden harjoittajille heidän työssään, se todennäköisemmin mahdollistaa tietoarkkitehdin, kuten DBA.
Kun mietit asioita analyytikon näkökulmasta, se on silloin, kun alat rakentaa kyselytyökalua, jota MDM-työkalu ei koskaan tekisi. Että kun alkaa ajatella suorituskykyä ja tarkkuutta sekä ymmärtää, mitkä tiedot liittyvät yritykseni tarpeisiin. Kaikki nämä asiat ovat asioita, jotka ovat mielenkiintoisia mielessämme, kun suunnittelemme työkalua. Se menee hakualgoritmeihimme, se sisältyy luettelosivujen asetteluun ja kykyyn lisätä tietoa ympäri organisaatiota. Se menee tosiasiaan, että rakensimme kyselytyökalun ja rakensimme luettelon suoraan siihen, joten mielestäni se todella tulee siitä. Mitä käyttäjää sinulla on ensin mielessä?
Rebecca Jozwiak: Okei, hyvä. Se todella auttoi selittämään sen. Kuka kuoli saada käsiinsä arkistoja, koska hänen piti lähteä, mutta hän todella halusi hänen kysymykseen vastaavan. Hän sanoi, että alussa mainittiin, että kieliä on useita, mutta onko SQL ainoa kieli, jota käytetään Compose-komponentissa?
David Crawford: Kyllä se on totta. Ja yksi niistä asioista, jotka olen huomannut todistaessani erityyppisten tietokantojen, asiakirjatietokantojen, kuvaajatietokantojen, avainarvotallenteiden räjähtämistä, on se, että ne ovat todella tehokkaita sovelluskehitykseen. Ne voivat palvella erityisiä tarpeita siellä todella hyvin, paremmilla tavoilla kuin relaatiotietokannat pystyvät.
Mutta kun palautat sen tietoanalyysiin, kun palautat sen - kun haluat antaa kyseisen tiedon ihmisille, jotka aikovat tehdä tapausraportointia tai kaivata tietoja tilapäisesti, että he palaavat aina relaatiotietoihin ainakin käyttöliittymä ihmisille. Osa siitä vain siksi, että SQL on tietojen analysoinnin lingua franca, joten se tarkoittaa ihmisille sitä myös integroitavia työkaluja. Mielestäni tämä on syy siihen, että Hadoopin SQL on niin suosittu ja sen ratkaisemiseen on niin paljon yrityksiä, koska päivän päätteeksi se on mitä ihmiset tietävät. On luultavasti miljoonia ihmisiä, jotka osaavat kirjoittaa SQL: tä, enkä uskalla miljoonia ihmisiä, jotka osaavat kirjoittaa Mongo-yhdistelmäputken kehyskyselyn. Ja se on vakio kieli, jota käytetään integroitumiseen todella monenlaisille alustoille. Joten kaikkea mitä sanotaan, pyydettiin harvoin menemään sen ulkopuolelle, koska tämä on käyttöliittymä, jota useimmat analyytikot käyttävät, ja se on paikka, johon keskityimme, etenkin Compose-ohjelmassa, keskittymään SQL: n kirjoittamiseen.
Sanoisin, että tietojenkäsittelytiede on paikka, jossa he uskaltavat olla eniten ulkopuolella, joten saamme satunnaisia kysymyksiä Pigin tai SAS: n käytöstä. Nämä ovat asioita, joita emme ehdottomasti käsittele Composessa ja jotka haluamme kaapata luetteloon. Ja näen myös R: n ja Pythonin. Meillä on muutamia tapoja, joilla olemme luoneet käyttöliittymiä, joilla voit käyttää Alaatioon kirjoitettuja kyselyitä R- ja Python-komentosarjojen sisällä, joten koska usein kun olet tietoteknikko ja työskentelet skriptikielellä, lähdetietosi ovat relaatiotiedoissa tietokanta. Aloitat SQL-kyselyllä ja käsittelet sitten sitä edelleen ja luot kuvaajia R: n ja Pythonin sisällä. Ja olemme tehneet paketteja, jotka voit tuoda niihin skripteihin, jotka vetävät kyselyjä tai kyselyn tuloksia Alation-ohjelmasta, jotta sinä voit tavallaan saada sekoitettua työnkulkua.
Rebecca Jozwiak: Okei hienoa. Tiedän, että olemme juokseneet hiukan tunnin huipun ohi, kysyn vain vielä yhtä tai kahta kysymystä. Tiedän, että puhuit kaikista eri järjestelmistä, joihin voit muodostaa yhteyden, mutta mitä ulkoisesti ylläpidettävään ja sisäisesti ylläpidettävään tietoon voidaan etsiä yhdessä yhdessä näkymässä, yhdellä alustalla?
David Crawford: Varma. Täällä on muutama tapa. Tarkoitan ulkoisesti isännöityä, kuvitellaan, yritän miettiä tarkalleen mitä tämä saattaa tarkoittaa. Se voi tarkoittaa tietokantaa, jota joku isännöi AWS: ssä sinulle. Se voi tarkoittaa julkista tietolähdettä data.gov. Yhdistämme suoraan tietokantoihin kirjautumalla sisään aivan kuten toinen sovellus tietokantatilillä, ja se on miten metatiedot poimitaan. Joten jos meillä on tili ja verkon portti on auki, voimme päästä siihen. Ja sitten, kun meillä ei ole näitä asioita, meillä on jotain, jota kutsutaan virtuaaliseksi tietolähteeksi, jonka avulla voit pääasiallisesti työntää dokumentaatiota joko automaattisesti, kirjoittamalla oman liittimen tai täyttämällä sen tekemällä jopa CSV-lähetyksen tavoin, dokumentoimaan. tiedot sisäisten tietojesi rinnalla. Se viedään kaikki hakukoneeseen. Siitä tulee viittaus artikkeleihin ja muuhun dokumentointiin ja keskusteluihin järjestelmän sisällä. Joten on totta, kuinka käsittelemme, kun emme pysty suoraan muodostamaan järjestelmää.
Rebecca Jozwiak: Okei, sillä on järkeä. Ammun vain yhden kysymyksen sinulle. Yksi osallistuja on kysytään: "Kuinka tietoluettelon sisältö olisi validoitava, varmennettava tai ylläpidettävä, kun lähdetietoja päivitetään, kun lähdetietoja muokataan jne."
David Crawford: Joo, se on kysymys, josta saamme paljon, ja mielestäni yksi niistä asioista, joita me - yksi filosofioistamme, kuten sanoin, emme usko käyttäjien olevan haitallisia. Oletetaan, että he yrittävät antaa parhaan tiedon. He eivät aio tulla sisään ja harhaan tarkoituksellisesti harhaan ihmisiä tiedoista. Jos kyseessä on ongelma organisaatiossasi, Ehkä Alations ei ole sinulle oikea työkalu. Mutta jos oletat käyttäjien hyviä aikomuksia, ajattelemme sitä jostakin kohdasta, missä päivitykset tulevat sisään, ja sitten yleensä teemme sen, että laitamme taloudenhoitajan, joka vastaa jokaisesta tietoobjektista tai tietoosasta. Ja voimme ilmoittaa niille valvojille, kun metatietoihin tehdään muutoksia, ja he voivat käsitellä sitä tällä tavalla. He näkevät päivitykset tulevat sisään, he validoivat ne. Jos he eivät ole oikein, he voivat palata takaisin ja muuttaa niitä ja tiedottaa, ja toivottavasti tavoittaa jopa tiedon lähettäneen käyttäjän ja auttaa heitä oppimaan.
Joten se on ensisijainen tapa, jolla ajattelemme sen tekemistä. Tällainen väkijoukon ehdotus ja luottamusmiesten johto, joten meillä on joitain ominaisuuksia sen ympärillä.
Rebecca Jozwiak: Okei, hyvä. Ja jos voisit vain kertoa ihmisille, kuinka he voivat parhaiten päästä alkuun Alationin kanssa, ja mihin he voivat mennä erityisesti saadakseen lisätietoja. Tiedän, että jaoit yhden bit.ly. Onko se paras paikka?
David Crawford: Alation.com/learnmore on mielestäni hieno tapa edetä. Alation.com-sivustolla on paljon demo-resursseja, asiakkaiden valkoisia kirjoja ja uutisia ratkaisustamme liittyäksesi demoun. Joten mielestäni se on hieno paikka aloittaa. Voit myös .
Rebecca Jozwiak: Okei hienoa. Ja tiedän, osallistujat, anteeksi, jos en päässyt kaikkiin kysymyksiin tänään, mutta jos ei, ne välitetään eteenpäin Davidille tai hänen myyntitiimilleen tai jollekin Alaation edustajalle, joten he voivat ehdottomasti auttaa vastaamaan kysymyksiisi ja ymmärtää mitä Alation tekee tai mitä he tekevät parhaiten.
Ja sen kanssa, ihmiset, menen eteenpäin ja kirjaan meidät pois. Löydät arkistot aina InsideAnalysis.com -sivulta. Löydät sen myös osoitteesta Techopedia.com. Niillä on taipumus päivittää hiukan nopeammin, joten tarkista se ehdottomasti. Ja kiitos paljon David Crawfordille, Dez Blanchfieldille ja Robin Boorille tänään. Se on ollut loistava webcast. Ja sen kanssa, hyvästi jäähyväiset. Kiitos, ihmiset. Hei hei.
David Crawford: Kiitos.