Sisältö
- ETL luo pullonkauloja Analyticsille
- ETL: n virtaviivaistaminen koneoppimisella ja AI: lla
- Ei vikoja, ei stressiä - vaiheittaiset ohjeet elämää muuttavien ohjelmistojen luomiseen tuhoamatta elämääsi
Lähde: Pop Nukoonrat / Dreamstime.com
Ottaa mukaan:
Tiedot ovat elintärkeitä yrityksille, mutta jotta ne olisivat hyödyllisiä, tietojen keräämisessä, käsittelyssä ja esittämisessä ei saa olla virheitä. Tekoäly voi seurata ETL-prosesseja varmistaakseen, että ne ovat virheettömiä.
ETL (poiminta, muuntaminen ja lataaminen) on yksi tärkeimmistä prosesseista suurten tietojen analysoinnissa - ja samanaikaisesti se voi olla yksi sen suurimmista pullonkauloista. (Katso lisätietoja isoista tiedoista tutustumalla 5 hyödylliseen big datakurssiin, joita voit käyttää verkossa.)
Syy siihen, että ETL on niin tärkeä, on, että suurin osa yrityksen keräämästä tiedosta ei ole raakamuodossaan valmis analysointiratkaisua sulamaan. Jotta analytiikkaratkaisu voi luoda oivalluksia, raakatiedot on poistettava sovelluksesta, jossa ne tällä hetkellä sijaitsevat, muunnettava muotoon, jota analytiikkaohjelma voi lukea, ja ladattava sitten itse analysointiohjelmaan.
Tämä prosessi on analoginen ruoanlaittoon. Raaka-aineet ovat raakatietojasi. Ne on uutettava (ostettava kaupasta), muunnettava (kypsennetty) ja ladattava (maljattu) ennen niiden analysointia (maistamista). Vaikeudet ja kustannukset voivat mitoittua arvaamattomasti - mac n 'juuston valmistaminen on helppoa itsellesi, mutta paljon vaikeampaa on luoda gourmet-menu 40 hengelle illallisjuhlissa. Sanomattakin on selvää, että virhe voi milloin tahansa tehdä ateriostasi sulamattoman.
ETL luo pullonkauloja Analyticsille
ETL on tietyllä tavalla analytiikkaprosessin kallioperä, mutta sillä on myös joitain haittoja. Ensinnäkin se on hidas ja laskennallisesti kallis. Tämä tarkoittaa, että yritykset priorisoivat usein vain tärkeimmät tietonsa analysointia varten, ja vain tallentavat loput. Tämä myötävaikuttaa siihen, että jopa 99% kaikista yritystiedoista jää käyttämättä analyysitarkoituksiin.
Lisäksi ETL-prosessi ei ole koskaan varma. ETL-prosessin virheet voivat vioittaa tietojasi. Esimerkiksi lyhyt verkkovirhe voi estää datan purkamisen. Jos lähdetietosi sisältävät useita tiedostotyyppejä, ne saattavat muuttua väärin. Roskaa sisään, roskaa ulos, kuten he sanovat - virheet ETL-prosessin aikana ilmaisevat melkein varmasti epätarkkoja analytiikoita.
Vioittuneella ETL-prosessilla voi olla huonoja seurauksia. Jopa parhaassa tilanteessa joudut todennäköisesti suorittamaan ETL: n uudelleen, mikä tarkoittaa tuntien viivästymistä - ja sillä välin päätöksentekijäsi ovat kärsimättömiä. Pahimmassa tapauksessa et huomaa epätarkkoja analytiikoita vasta, kun olet alkanut menettää rahaa ja asiakkaita.
ETL: n virtaviivaistaminen koneoppimisella ja AI: lla
Voit - ja luultavasti tehdä - määrätä jonkun seuraamaan ETL: ää, mutta se ei ole rehellisesti ole niin yksinkertaista. Virheelliset tiedot voivat johtua prosessivirheistä, jotka tapahtuvat niin nopeasti, että niitä ei voida huomaa reaaliajassa. Vioittuneen ETL-prosessin tulokset eivät usein näytä eroa oikein ladatusta tiedosta. Jopa silloin, kun virheet ovat ilmeisiä, virheen aiheuttanut ongelma ei välttämättä ole niin helppo jäljittää. (Jos haluat lisätietoja tietojen analysoinnista, katso Job Role: Data Analyst.)
Hyvä uutinen on, että koneet voivat tarttua siihen, mitä ihmiset eivät pysty. Nämä ovat vain muutamia tapoja, joilla AI ja koneoppiminen voivat tarttua ETL-virheisiin ennen kuin niistä tulee epätarkkoja analytiikoita.
Ei vikoja, ei stressiä - vaiheittaiset ohjeet elämää muuttavien ohjelmistojen luomiseen tuhoamatta elämääsi
Et voi parantaa ohjelmointitaitojasi, kun kukaan ei välitä ohjelmiston laadusta.
1. Tunnista ja varoita ETL-metrien välillä
Vaikka tietosi ovat jatkuvasti liikkuvaa kuvaa, ETL-prosessin tulisi silti tuottaa yhdenmukaiset arvot tasaisella nopeudella. Kun nämä asiat muuttuvat, se aiheuttaa hälytyksen. Ihmiset voivat nähdä suuria muutoksia tiedoissa ja tunnistaa virheitä, mutta koneoppiminen tunnistaa hienoimmat viat nopeammin. Koneoppimisjärjestelmä voi tarjota reaaliaikaisen poikkeaman havaitsemisen ja ilmoittaa siitä suoraan IT-osastolle, jolloin se voi keskeyttää prosessin ja korjata ongelman joutumatta hylkäämään tunteja laskennallisia ponnisteluja.
2. Täsmälliset pullonkaulat
Vaikka tulokset ovatkin tarkkoja, ne saattavat silti tulla liian hitaasti käyttökelpoisiksi. Gartner sanoo sen 80% oivalluksista analytiikasta johdettuja tietoja ei koskaan hyödynnetä rahallisen arvon luomiseksi. Tämä voi johtua siitä, että yritysjohtaja ei näe ajoissa tietoa siitä hyödyntääkseen. Koneoppiminen voi kertoa järjestelmäsi hidastuvuudesta ja antaa sinulle vastauksia - saat parempaa tietoa nopeammin.
3. Määritä muutosten hallinnan vaikutus
Tietoja ja analytiikkaa tuottavat järjestelmät eivät ole staattisia - ne saavat jatkuvasti korjauksia ja päivityksiä. Joskus nämä vaikuttavat tapaan, jolla ne tuottavat tai tulkitsevat tietoja - johtaen epätarkkoihin tuloksiin. Koneoppiminen voi merkitä muuttuneet tulokset ja jäljittää ne tiettyyn paikattuun koneeseen tai sovellukseen.
4. Vähennä toiminnan kustannuksia
Kaatunut analytiikkaoperaatio on yhtä suuri kuin menetetty raha. Aika, jonka vietät selvittämällä paitsi kuinka ratkaista ongelma myös kuka on vastuussa ongelman ratkaisemiseksi on aikaa, jonka saatat käyttää rakennusarvoon. Koneoppiminen auttaa pääsemään asian ytimeen hälyttämällä vain ryhmät, jotka saattavat olla vastuussa tietyntyyppisiin tapauksiin reagoimisesta, antamalla muun IT-osaston jatkaa päätehtävien suorittamista. Lisäksi koneoppiminen auttaa poistamaan vääriä positiivisia, vähentämällä hälytysten kokonaismäärää ja lisäämällä niiden tarjoaman tiedon yksityiskohtaisuutta. Hälytysväsymys on hyvin todellinen, joten muutoksella on mitattavissa oleva vaikutus elämänlaatuun.
Yrityksen voiton kannalta analytiikka on ratkaisevan tärkeää. Bain Capitalin tekemä maamerkkitutkimus osoittaa, että analytiikkaa käyttävät yritykset ovat yli kaksinkertaisen todennäköisesti ylijäämäisiä taloudellisesti. ETL tarjoaa perustan menestykselle tällä areenalla, mutta viiveet ja virheet voivat myös estää analytiikkaohjelman onnistumisen. Koneoppimisesta tulee siksi arvokas työkalu minkä tahansa analytiikkaohjelman menestykseen, mikä auttaa takaamaan puhtaan datan ja tarkat tulokset.