Stora data blir för stora? Hela 90% av alla befintliga data i världen producerades under de senaste två åren - och endast 20% av det används. Med stor dataanalys som inte kan hålla takten, visar den här exponentiella ökningen sig omöjligt att klara av, och det finns ett mycket uppenbart resultat: De flesta data som samlas in av företag, individer och DTS-sensors Internet används inte.

Ostrukturerade, oanvända och olobnade data som lurar på datorer, servrar och arkiv över organisationer över hela världen är tydliga bevis för att företag, samtidigt som de blir alltmer digitaliserade och datacentriska, lever fortfarande i mörka åldrar.

Mörka data kan vara metadata som produceras av andra system (Image Credit: NASA)

Vad är mörk data?

Oanvända eller "mörka" data är historien om näringslivet som inte lever upp till förväntningarna i stor skala. Mörka data definieras av Gartner som "de informationstillgångar som organisationer samlar, bearbetar och lagrar under vanliga affärsaktiviteter, men brukar inte användas för andra ändamål".

“I första hand talar vi om transaktionsinformation, loggfiler, metadata som inte har använts, små bitar av oanalyserad information som inte verkar ha något värde och kan ses som avfallsprodukter från andra system och processer,” säger John Culkin, chef för informationshantering vid Crown Records Management, som rådgivar företag om datapolicy. Han lägger också till i den här listan utkast, tillfälliga och gamla e-postmeddelanden och ZIP-filer.

Mörka data kan lura på oanvända bärbara datorer

Var kommer mörka data från?

“Mörka data utgör cirka 80% av det totala innehållet i någon organisation,” säger Stephen Mackey, senior IM-konsult hos informationshanteringsföretaget Kefron, som insisterar på att det är resultatet av standardiserade dagliga affärsprocesser. “Mörk data är allt innehåll som finns kvar, doldt i system och servrar, och underutnyttjad eller bortglömd,” han lägger till.

Enligt IDC analyseras 90% av ostrukturerad data aldrig, vilket ofta beror på en farlig anti-delete-inställning, som drivs av både överensstämmelsebestämmelser och tillgången till billig datalagring i molnet och på annat håll.

“För ett detaljhandels- eller tillverkningsföretag kan exempelvis finansiell information med rätta hållas som en rekord,” säger Culkin och lägger till, “men även om data som genereras av många försäljnings- och leveranssystem inte krävs, tas det sällan bort.” Men en konservativ inställning till data skapar omvänd risk.

Det kan finnas 21 miljarder IoT-enheter senast 2020

Varför är mörka data skadliga?

Det finns två huvudsakliga sätt att mörka data kan skada ett företag. För det första finns det en säkerhetsrisk vid att inte radera data. “Det är viktigt att filer inte glömmas bort,” säger Mackey. “Om de inte övervakas och hålls säkra, kan den affärskritiska informationen de innehåller brytas utan kunskap och används av skrämmande skäl.”

Data som inte ska användas bör antingen raderas eller skyddas mot obehörig åtkomst eftersom konfidentiell, känslig och ostrukturerad information kan innehålla kundkontoinformation, vilket ger problem med överensstämmelse.

Andra sättet att mörka data kan skada ett företag är att indirekt kosta det pengar. “Många företag är inte medvetna om vilken typ av data som ens existerar, och det är denna dolda data som hindrar interna recensioner och externa revisioner,” säger Mackey. “Vad händer om ett problem uppkommer om ett konto för två år sedan, och betalning är ifrågasatt, men fakturorna och dokumenten kan inte hittas?” han frågar. Svaret är enkelt; mörka data kostar företag pengar.