Data är centralt för varje teknik vi berör, och när vi går över våra dagliga liv konsumerar vi och genererar data i en otrolig takt. Även något som är så enkelt att betala för lunch på ett café med ett betalkort genererar data.

Nyligen har volymerna av data som vi producerat exploderat, så vi pratar inte längre om data som enkelt hanteras i ett kalkylblad, men om stora data, vilket kräver behovet av sofistikerade intelligenssystem.

Stora dataevangelister har utnyttjat fördelarna med att samla mer och mer data, med hänvisning till att storleken är bra och större är bättre. Denna tidvattensvåg av data var utformad för att göra oss smartare, göra det möjligt för oss att göra nära realtidsbeslut och kanske till och med förutse framtida beteenden.

Men dessa förföriska påståenden om stora data gömmer det faktum att om data samlas in i den nuvarande infrastrukturen, är det mer sannolikt att dataverksamheten blir långsammare, mindre mottaglig och - på sikt - mindre "intelligent".

Varför händer det här?

Det beror på att bearbetning av terabytes av information om de redan beskattade arvsystemen som många företag driver på tar längre och längre tid eftersom dataflöden ökar.

Som ett resultat slutar datorgrupperna att använda för affärskritiska rapporter eller att testa nya applikationer, är inte i realtid, det är gammalt och det blir bara äldre, eftersom följande typer av ytterligare IT-krav förvärrar problemet:

Data migration: Företagen driver ofta ett stort antal företagsapps (de i bankbranschen kan räkna dem i tusentals) och de har komplexa processer för att data ska slutföras innan det kommer till affärsinformationsprogramvaran för analys.

Datan måste flyttas från applikationer till operativdatabutiker innan den hamnar i ett datalager. Det finns vanligtvis ett begränsat tidsfönster där processen måste slutföras, och när datamängden var mindre var det en ganska hanterbar uppgift.

Om ett av dessa projekt pågår samtidigt med BI-projekt, är det möjligt att analytikerna plötsligt, i stället för att ha daggamla data i rapporteringsmiljön, slutar med data som i vissa fall var veckor gamla. En av våra kunder beräknade kostnaden för denna väntan på gamla data vid 50% av BI-investeringen.

Databasreplikation: Många stora organisationer behöver hantera flera instanser av enskilda databaser. Dessa databaser används för en mängd olika affärsprocesser, inklusive test och utveckling, kvalitetssäkring (QA), utbildning och säkerhetskopiering och katastrofåterställning.

Som ett resultat i genomsnitt replikeras varje databas åtta till tio gånger. Dessa replikationer fungerar som ett havsankare på något affärsinformationssystem; Det tar enorma mängder av tid och ansträngning att crunch genom de replikerade data, vilket ger ett drag på hela processen.

Dataskärmning: Nya EU-bestämmelser kommer snart att kräva någon organisation som behandlar kunddata för att maskera känsliga uppgifter som de samlar oavsett om den används för utveckling, testning och QA, eller om det bara lagras och övervakas för affärsintelligensändamål.

Medan dataskyddsprocessen är enkel, har organisationer ofta problem med dataförsändning. Eftersom organisationerna är skyldiga att maskera inte bara en uppsättning data, utan varje kopia som görs, staplar dessa projekt i snabb takt.

En mängd kompromisser

Så, vad är lösningen på detta åldrande dataproblem? Traditionellt innebär det i de flesta fall mycket kompromisser. Exempelvis försöker vissa företag att ta itu med detta problem genom att välja att arbeta med mindre delmängder data.

Andra organisationer prioriterar vilken data som verkligen behöver vara i realtid och som kan levereras veckovis, månadsvis eller kvartalsvis. Men genom att flytta sig bort från äldre arkitekturer och prioritera integriteten i deras data, finner många organisationer att de kan undvika att ta dessa kompromissåtgärder.

För att prioritera data måste de första organisationerna göra datan smidig. Tekniker av virtualisering tillämpas nu på hela applikationsstaplar, vilket gör att även de mest expansiva datamängderna kan ta upp en bråkdel av rymden, vilket innebär att data nu kan levereras var som helst inom organisationen inom några minuter.

Organisationer som har lagt fram sina uppgifter först genom att använda virtualiseringsteknologi har sett att behandlingstiderna krymper dramatiskt från veckor till några timmar, vilket innebär att data inte har chans att bli gammal som den en gång hade. En av våra kunder kunde förbättra prestanda i sådan utsträckning att uppgifterna kom fram i minuter i stället för dagar.

De flesta IT-ledare förstår redan de smidighets- och mobilitetsfördelar som virtualisering kan ge med sina servrar. Genom att expandera möjligheterna till virtualisering till applikationsstapeln kan organisationerna börja med att uppnå de typer av insikt och affärsinformation som "stora data" alltid har lovat, samtidigt som de fortfarande kan utveckla, testa och distribuera nya applikationer effektivt.

Åldrande data gör oss långsammare, inte smartare; men med den rätta infrastrukturen på plats kan de stora uppgifterna - min är större än din - äntligen börja förvärva någon riktig betydelse.

  • Iain Chidgey har över 20 års erfarenhet inom IT-industrin och är för närvarande EMEA: s generaldirektör för Delphix, en ledande global leverantör av smidig datahanteringsplattform till företagsföretag över hela världen.