2021 är äntligen här.
Det är dags att djupdyka bland de mest typiska problemen med analys av big data, undersöka möjliga grundorsaker och lyfta fram möjliga lösningar på dessa.
Det är alltid bättre att tänka smart redan från början, medan ditt analyssystem ännu är i konceptfasen. Eventuella korrigeringar kan bli kostsamma att implementera när systemet redan är igång.
I dagens digitala värld omfamnar företag affärsidén kring big data för att förbättra beslutsfattandet, öka tillförlitligheten, höja produktiviteten, göra bättre förutsägelser, övervaka prestanda och få en konkurrensfördel. Många organisationer har dessvärre problem att använda business intelligence-analyser på en strategisk nivå. Enligt Gartner har 87% av företagen låg analytisk mognad inom BI, Business Intelligence (omvärldsbevakning), och saknar vägledning och support för sin data. Problemen med affärsdataanalys är inte enbart relaterade till analysen, utan kan också orsakas av djupa system- eller infrastrukturproblem.
- Affärsanalyslösningen ger inga nya eller aktuella insikter
Föreställ dig att du har investerat i en analyslösning i syfte att få unika insikter som hjälper dig att fatta smartare beslut. Men att det ibland verkar som om insikterna ditt nya system ger har samma nivå och kvalitet du hade tidigare. Detta problem kan hanteras genom antingen affärsområde eller teknologi beroende på grundorsaken.
1.1. Brist på data
Din analys har inte tillräckligt med data för att generera nya insikter. Detta kan antingen bero på brist på dataintegrationer eller dåligt organiserade data.
I det här fallet är det bra att göra en datagranskning och se till att befintliga dataintegrationer kan ge de insikter som krävs. Integration av nya datakällor kan också eliminera bristen på data. Det är också värt att kontrollera hur rådata kommer in i systemet och se till att alla möjliga dimensioner och mätvärden exponeras för analys. Slutligen kan mångfald av datalagring också utgöra ett problem. Denna fråga kan hanteras genom att introducera en datareservoar.
1.2. Lång tid för svar
Detta händer vanligtvis när du behöver få svar i realtid, medan ditt system är utformat för batchkörning. Informationen du behöver här och nu är ännu inte tillgänglig eftersom den fortfarande samlas in eller förbehandlas.
Kontrollera om din ETL (Extrahering, Transformering, Inläsning) kan bearbeta data baserat på ett mer frekvent schema. I vissa fall tillåter batchdrivna lösningar schemajusteringar med en 2x höjning. Ett annat alternativ är att använda en arkitekturmetod som kallas lambda-arkitektur. Den tillåter dig att kombinera den traditionella batchdrivna pipen med en snabb realtidsström.
1.3. Gamla metoder tillämpas på ett nytt system
Du har överfört dina vanliga rapporter till det nya systemet. Men det är svårt att få nya svar genom att ställa gamla frågor. Detta är mestadels en affärsfråga och lösningar på problemet skiljer sig mycket från fall till fall. Det bästa är att konsultera en ämnesområdesexpert, som har bred erfarenhet av analytiska tillvägagångssätt och känner till ditt affärsområde.
- Felaktig analys
Det finns inget värre för ett företag än en felaktig analys och problemet måste åtgärdas så fort som möjligt.
2.1. Dålig kvalitet på rådata
Om ditt system förlitar sig på data som är defekt, felaktig eller ofullständig kommer du få dåliga resultat. Kvalitetshantering av data och en obligatorisk valideringsprocess som täcker varje steg i din ETL-process kan bidra till att säkerställa kvaliteten på inkommande data på olika nivåer (syntax, semantik, grammatik, affärsverksamhet, etc.). Det gör att du kan identifiera och rensa bort felen och garantera att en ändring inom ett område omedelbart visar sig över hela linjen, vilket gör data rena och korrekta.
2.2. Systemfel relaterade till dataflödet
Detta händer när systemets krav utelämnas eller inte uppfylls helt på grund av felaktigt mänskligt ingripande i utvecklings-, test-, eller verifieringsprocesserna.
Högkvalitativ testning och verifiering av utvecklingslivscykeln minskar andelen liknande problem, vilket i sin tur minimerar problem med databehandling. Det kan hända att din analys ger felaktiga resultat även när du arbetar med data av hög kvalitet. I det här fallet bör man genomföra en detaljerad granskning av systemet och kontrollera om implementeringen av algoritmer för databehandling är felfri.
- Att använda dataanalys är komplicerat
Nästa problem kan leda till att alla ansträngningar som investerats för att skapa en effektiv lösning blir noll. Om användandet av dataanalys blir för komplicerat kan det upplevas som svårt att få värde från din data. Komplexitetsfrågan beror vanligtvis antingen på UX, användargränssnittet, (när det är svårt för användare att navigera i systemet och förstå informationen från dess rapporter) eller på tekniska aspekter (när systemet är för komplext). Låt oss reda ut det här.
3.1. Rörig datavisualisering
Komplexiteten i dina rapporter är för hög. Det är tidskrävande eller svårt att hitta nödvändig information. Detta kan åtgärdas genom att anlita en UI/UX-specialist, som hjälper dig att skapa ett tilltalande och flexibelt användargränssnitt som är lätt att navigera och arbeta med.
3.2. Systemet är för komplext
Systemet bearbetar fler scenarier och ger dig fler funktioner än du behöver, vilket gör att fokus suddas ut. Det förbrukar också mer hårdvaruresurser och ökar dina kostnader. Ett resultat blir att användarna bara använder en del av funktionaliteten. Resten blir en tung börda och det verkar som om systemet är allt för komplicerat.
Det är viktigt att identifiera överdriven funktionalitet. Samla ditt team och definiera viktiga mätvärden: exakt vad vill du mäta och analysera, vilken funktionalitet används ofta och var ligger ditt fokus. Ta sedan bort alla onödiga saker. Att involvera en extern expert inom ditt affärsområde för att hjälpa dig med dataanalysen, kan också vara ett mycket bra alternativ.
- Lång svarstid från systemet
Systemet tar för lång tid på sig att analysera data även fast rådata redan är tillgänglig och rapporten behövs nu. Det kanske inte är så kritiskt för batchkörning, men för system i realtid kan en sådan fördröjning kosta en nätt slant.
4.1. Ineffektiv dataorganisering
Kanske är din data organiserad på ett sätt som gör det mycket svårt att arbeta med. Det är bättre att kontrollera så att lagringen av din data är utformad enligt de användningsfall och scenarier du behöver. Om inte, kommer en omstrukturering definitivt hjälpa.
4.2. Problem med analysinfrastruktur för big data och resursanvändning
Problemet kan finnas i själva systemet, vilket innebär att det har nått sin skalbarhetsgräns. Det kan också vara så att infrastrukturen för hårdvaran inte är tillräcklig längre.
Den enklaste lösningen här är att skala upp, d.v.s. att lägga till mer datorkraft till ditt system. Det är bra när det hjälper till att förbättra systemets responstid inom en överkomlig budget så länge som resurserna används på rätt sätt. Ett klokare sätt ur en strategisk synvinkel skulle vara att dela upp systemet i separata komponenter och skala upp eller ner dem oberoende av varandra. Kom dock ihåg att detta kan komma att kräva ytterligare investeringar för omkonstruktion av systemet.
- Dyrt underhåll
Alla system kräver kontinuerliga investeringar för underhåll och infrastruktur. Och alla företagare vill minimera dessa investeringar. Så även om du är nöjd med kostnaden för underhåll och infrastruktur är det alltid en bra idé att med nya ögon ta en titt på systemet och se till att du inte betalar för mycket.
5.1. Föråldrad teknik
Ny teknik som kan bearbeta större datamängder på ett snabbare och billigare sätt dyker upp varje dag. Därför kommer de tekniker som dina analyser bygger på förr eller senare bli föråldrade, kräva mer hårdvaruresurser och bli dyrare att underhålla än de moderna. Det är också svårare att hitta specialister som är villiga att utveckla och stödja lösningar baserade på äldre teknik,
Den bästa lösningen är att gå över till ny teknik. På lång sikt kommer det inte enbart göra systemet billigare att underhålla, utan också öka tillförlitlighet, tillgänglighet och skalbarhet. Det är också viktigt att genomföra en omdesign av systemet steg för steg, för att gradvis ersätta gamla element med de nya.
5.2. Icke-optimal infrastruktur
Infrastruktur är den kostnadskomponent där det alltid finns utrymme för optimering. Om du fortfarande använder en lokal installation, kan en migrering till molnet vara ett bra alternativ. Med en molnlösning betalar du för det du använder, vilket avsevärt kan minska kostnaderna. Om du har begränsningar relaterade till säkerhet, kan du fortfarande migrera till ett privat moln. Om du redan är i molnet, kontrollera att du använder det effektivt och se till att du har implementerat alla de bästa metoderna för att minska utgifterna.
5.3. Systemet du har valt är överutvecklat
Även om du inte använder en stor del av systemets funktionalitet fortsätter du att betala för den infrastruktur som systemet använder. Det kan hjälpa att revidera mätvärden och optimera systemet efter dina behov. Du kan ersätta vissa komponenter med enklare versioner som bättre matchar dina affärsbehov.
Istället för slutsatsen
Att justera en befintlig affärsanalysplattform är möjligt, men kan bli en ganska utmanande uppgift. Om du saknar något i den nya lösningsdesignen och implementeringen kan det leda till förlust av både tid och pengar.
Om Författaren
Boris Trofimov, en mjukvaruarkitekt med 15 års erfarenhet inom mjukvaruutveckling, systemarkitektur, teamledning, och utbildning. Genom åren ha han framgångsrikt deltagit i ett stort antal projekt där han format Big Data arkitektur för företag inom olika sektorer. I hans portfölj finns allt från skapande av kostnadseffektiva Big Data lösningar för innovativa startups – samt leverans av dess lösningar inom endast 2 veckor – till design av en dataannons plattform för ägaren av den största annons och videoplattformen med miljontals användare och miljardtals sedda videos. Plattformen, utvecklad av ett team från Sigma Software, kunde behandla 120 TB data varje dag med 2,5 M events processade per sekund.
