Zgodnie z definicją Gartnera, ciemne dane (dark data) to „zasoby danych, które organizacje gromadzą, przetwarzają i przechowują podczas normalnej działalności biznesowej, ale zazwyczaj nie wykorzystują ich do innych celów”. Te „inne cele” obejmują m.in. uczenie maszynowe, analitykę biznesową lub monetyzację.
Dark data można nawet porównać do ciemnej materii w fizyce – często stanowią one większość aktywów informacyjnych firmy. Niemniej jednak przechowywanie i zabezpieczanie takich danych wiąże się zwykle z większymi wydatkami, a nawet… zwiększonym ryzykiem.
Żyjąc w obecnym tempie, kultura korporacyjna wręcz zachęca pracowników do tworzenia bezdennych zbiorów danych. Przykłady? Zapisywanie maila „na wszelki wypadek”, niedokończona aplikacja, zarchiwizowane pliki lub fragmenty kodu, które nigdy więcej nie zostaną użyte…. Termin „ciemne dane” jest jednak znacznie szerszy i obejmuje wszystkie nieustrukturyzowane i chaotyczne strumienie danych oraz obiekty, jakie należy przeanalizować, aby uczynić je użytecznymi. Ciemne dane w potencjale biznesowym to ostatecznie ustrukturyzowany i przeanalizowany strumień informacji, a informacje są walutą w biznesie.
Analityka ciemnych danych to sposób na odkrywanie nowych możliwości rozwoju lub obszarów redukcji kosztów. W końcu to nie gromadzenie i przechowywanie jak największej ilości danych stanowi dziś wyzwanie, ale ustrukturyzowanie zebranych (i stale powiększających się) zasobów w taki sposób, aby można je było analizować. Przykładowo, analityka dark data może być przeprowadzana m.in.:
Odpowiednie przetwarzanie ciemnych danych może również dostarczyć m.in. informacji o geolokalizacji (aspektu zwiększającego precyzję np. modeli ML), a tego typu informacje aż się proszą o zrobienie z nich użytku.
Kiedy zacząć? Im wcześniej – tym lepiej. Każdy dzień chaotycznego gromadzenia danych oznacza bowiem większe wyzwanie strukturyzacyjne później.
Porządkując dark data działania powinny być przez Ciebie zaplanowane. Przede wszystkim przenieś dane do bezpiecznego kontenera i zabezpiecz je… raz jeszcze – to najważniejszy krok. Następnie pracuj nad zbiorami danych zgodnie z pożądanymi rezultatami. Pozbywaj się niepotrzebnych informacji, usuwaj i deduplikuj rekordy, a przy zadowalających efektach udostępniaj analitykom dostęp do tych danych. Oczywiście nie musisz robić wszystkiego ręcznie. Jeśli potrzebujesz pomocy, rozważ skorzystanie z niezawodnych i zaufanych narzędzi.
Algolytics stworzył kompletną i skalowalną linię technologiczną która gromadzi, strukturyzuje, a nawet etykietuje rekordy danych – możliwości te wykorzystywane są m.in. przez działy zajmujące się ML & BI, ale nie tylko. W przypadku geolokalizacji, eksperci firmy stworzyli rozwiązanie, które podnosi jakość posiadanych danych adresowych (również tych pochodzących z różnych źródeł), poprawia błędy i literówki oraz deduplikuje rekordy w aplikacji webowej lub on premise. Sprawdź te możliwości z demo – i zadecyduj, czy jesteś gotów, aby Twoje dane pracowały dla Ciebie.
