De fleste virksomheter i dag har allerede investert i en eller annen form for datamiljø. Ofte er dette tradisjonelle datavarehus. Et datavarehus er et sentralt depot av integrerte data fra ulike datakilder som brukes til å rapportere og analysere data. Imidlertid har tradisjonelle datavarehus visse funksjonelle begrensninger.
Begrensninger i tradisjonelle datavarehus
De fleste datavarehus oppdateres på slutten av dagen i én og samme load, i stedet for som transaksjonelle datajobber i sanntid. Arbeid i et strukturert datamiljø må også holdes innenfor rammen av de opprettede strukturene: statiske datasett med begrenset tilgang til mer detaljerte visninger.
Det blir derfor stadig mer vanlig for virksomheter å utforske mulighetene for et mer moderne data estates.
"Et data estate er ganske enkelt en infrastruktur for å hjelpe bedrifter med å systematisk administrere alle dataene sine. Et data estate kan utvikles lokalt, i skyen eller som en kombinasjon av begge (hybrid). Herfra kan virksomheter lagre, administrere og bruke sine analysedata, forretningsapplikasjoner, sosiale data, kunderelasjonssystemer, funksjonelle forretnings- og avdelingsdata, tingenes internett (IoT), etc."
skriver Forbes i deres artikkel.
Har du et tradisjonelt datavarehus og lurer på hvordan du strategisk kan utvide funksjonaliteten og oppgradere ytelsen?
Her går vi gjennom de åtte strategiske trinnene som tar for seg hva som skal til for å bygge et moderne data estate.
1. Definer mål i form av data og analysemodenhet
Hvor moden er din organisasjon innen dataforbruk? Hva ønsker du å oppnå med ditt date estate når det gjelder analytiske ferdigheter?
I dette trinnet spør du deg selv hva som fungerer i dag i ditt eksisterende miljø og hva som ikke fungerer. Du beskriver hvilke flaskehalser som finnes, smertepunkter eller andre problemer innad i organisasjonen. Etter dette trinnet bør du være tydelig på hva du ønsker å oppnå, hvilke smertepunkter som finnes og identifisere hvor den lavthengende frukten er.
2. Definer virksomhetens behov for både i dag og i morgen
Dette trinnet handler ikke om IT. I stedet bør fokus være på virksomhetens behov. I transformasjonen av et datavarehus til et moderne data estate, er den største feilen man kan gjøre å prøve å replikere det eksisterende miljøet.
Du må stille de riktige spørsmålene til alle interessenter, fra salg til markedsføring og HR til forretning:
- Hva vil du måle?
- Hvor er virksomheten vår på vei?
- Hvilke trender ser vi?
- Hvordan vil en digital transformasjon påvirke innsikt fra data?
Etter å ha kartlagt organisasjonens ulike aktivitetsområder kan det være fordelaktig å lage en prioriteringsrekkefølge og dermed kunne starte litt i det små.
3. Beskriv kjernevirksomheten og dataprosessene
Du har nå definert dine mål med tanke på data og analytisk modenhet og prioritert bedriftens behov. Nå er det på tide å identifisere de tilgjengelige datakildene – og hvilke data som i første omgang vil få plass i det nye datamiljøet som følge av prioriteringsrekkefølgen fra trinn to.
I dette trinnet handler det både om forretningsprosesser og dataprosesser fordi de begge er sammenvevd. Du ser på et spesifikt datapunkt, for eksempel kundedata, og definerer deretter relasjonsdatamodellene.
Andre datapunkter som transaksjoner, produkter osv. håndteres på lignende måte.
4. Hvordan skal datatilgang se ut og hvem skal ha tilgang til data?
I dette trinnet beskriver du din sikkerhetsstrategi og verktøyene som skal brukes til analyse, rapportering og datavisualisering.
Noen problemer å vurdere er:
- Hvordan bør du koble til datakildene?
- Hvilke kontakter trengs?
- Hvor ofte kan data leses ut?
- Hva slags data trenger du?
- Hvilke metadata er tilgjengelige?
- Hvor ofte oppdateres data og hvor ofte er data tilgjengelig?
Tenk på «databrukerne» du vil ha og hvordan du vil hjelpe dem. Du ønsker å tilby selvbetjent BI for ulike typer brukere, fra superbrukere til dataforskere, dataminere AI og ML-algoritmer til forretningsbrukere som jobber ad-hoc med data og oppretter nye rapporter og midlertidige brukere som venter på rutinerapporter og oppdateringer .
I dette trinnet definerer du også roller og grupper slik at du kan identifisere brukere og tilgangsrettigheter mens du bygger dataområdet ditt. Dette sikrer at bare autentiserte brukere kan få tilgang til data, tabeller eller kolonner de er autorisert til å se.
5. Definere en arkitektur
Data Lake
Dette laget er vanligvis ment for data scientists som ofte trenger tilgang til rådata for å bruke det i maskinlæringsmodeller. Dette laget muliggjør rask lesing av rådata fra alle datakilder og til Azure Data eller en SQL-database.
Datavarehus
Rådata er ofte ikke det beste alternativet for forretningsbrukere som forretningsanalytikere. Disse brukerne trenger data som er vasket, beriket og rasjonalisert – i et moderne datavarehus. I en dataarkitektur med lag vil et datavarehus hente data direkte fra data laken, og samtidig plassere data i en SQL-basert database med semistrukturerte data som er transformert til et strukturert dataskjema for analyse.
Data March
Data March støtter generelle brukere ved å levere relevante mengder data fra datavarehuset, og muliggjør selvbetjening på tvers av flere analyseverktøy for bransje- og funksjonsspesifikke visualiseringer, slik at bedrifter kan utforske data sikkert og effektivt.
6. Cloud, On-prem eller hybrid
Som allerede nevnt er et solid fundament nødvendig for et fungerende dataområde. Du vil ikke at det nye miljøet skal ende som det skjeve tårnet i Pisa, som har blitt en kostbar virksomhet å vedlikeholde. Tenk derfor på fordeler og ulemper med sky, On-prem og hybrid.
Det finnes fantastiske skyløsninger på markedet i dag – som Microsoft – men skyløsninger bør ikke være et mål i seg selv. Målet må først spesifiseres.
7. Valg av utviklingspartner
I dette trinnet velger du utviklingspartner. Hvilken programvare bør du bruke for ditt data estate? Hvem skal bygge ditt data estate? Og hvem skal ta seg av vedlikeholdet?
Programvare for dataadministrasjon og automatisering
Du bør velge riktig programvareplattform for dagens så vel som morgendagens behov. Du vil sikre at ditt data estate bygges sammen med en integrert dataadministrasjonsplattform som er helt uavhengig av utviklere, datakilder, dataplattformer (SQL Server, Azure SQL, Data Lake, Synapse), gamle verktøy (Power BI, Qlik) og distribusjonsmodell (On-prem, cloud, hybrid).
Du bør kunne akselerere utviklingen med automatisert kodegenerering, som frigjør utviklere som deretter kan fokusere på datakvalitet og forretningsutvikling og begrense mengden høyt kvalifiserte ressurser som kreves ved å bruke ett og samme verktøy for å bygge data lake, datavarehus og data marts.
Sist, men ikke minst, bør du sørge for at ditt data estate er «fremtidssikret», noe som betyr full skalerbarhet og kompatibel med fremtidige oppdateringer uten behov for ombygging.
Distribusjons- og vedlikeholdspartner
Vil du distribuere og vedlikeholde ditt data estate selv? Vil du vurdere en distribusjonspartner, men så ta deg av vedlikeholdet selv?
Uansett hva du velger, vurder en partner med erfaring og som du kan stole på, siden de vil være ansvarlige for utviklingen av din viktigste ressurs: data.
8. Tenk stort, start i det små og oppfør deg smidig
Har du fulgt alle de syv trinnene? Da er det også sannsynlig at dataområdet ditt vil hjelpe deg å drive innovasjon og at du vil kunne distribuere et skalerbart, «fremtidssikkert» data estate. Nøkkelen til suksess er å starte i det små. Gradvis vil du da kunne hjelpe din organisasjon til å endelig bli datadrevet.