Big Data ― wielkie zbiory danych i technologia zarządzania nimi

W branży coraz częściej stosuje się termin „Big Data” (wielkie zbiory danych), który oznacza gwałtowny wzrost ilości i różnorodności informacji elektronicznych spływających do przedsiębiorstw w miarę ewoluowania ich procesów biznesowych w konsekwencji dążenia do zaspokojenia potrzeb naszego coraz bardziej zinternetyzowanego świata. Sytuacja taka to dla przedsiębiorstw jednocześnie błogosławieństwo i przekleństwo. Przekleństwo z uwagi na koszty przechowywania i przetwarzania tak ogromnych ilości danych, a także zarządzania nimi. A błogosławieństwo, gdyż przedsiębiorstwa, które są w stanie właściwie zinterpretować i wykorzystać duże ilości heterogenicznych danych z różnorodnych źródeł, mogą uzyskać cenny wgląd w tendencje i możliwości rynkowe, co zapewni im znaczną przewagę nad konkurencją. Potencjał ten może znacznie wykraczać poza ramy możliwości oferowanych przez konwencjonalne podejścia do analizy danych biznesowych, stymulując przekształcanie modeli biznesowych, strategii produktowych, struktur organizacyjnych i sieci partnerów.

Rozwiązania do zarządzania wielkimi zbiorami danych muszą obsługiwać zróżnicowane typy danych: dane usystematyzowane i nieusystematyzowane, dane spływające w czasie rzeczywistym i przetwarzane wsadowo, spływające ewidentnie losowo dane z sieci społecznościowych, a nawet dane stanowiące „produkt uboczny” przetwarzania, takie jak pliki dziennika baz danych.

(R)ewolucja związana z technologią Big Data

Aby umożliwić obsługę bezprecedensowej ilości i różnorodności danych wymagających przetwarzania, opracowuje się nowe narzędzia i techniki ― twórcami wielu z nich są tacy giganci, jak Google, Amazon i Facebook. Ważnym dostawcą tego typu rozwiązań jest również firma Open Source. Gama technologii Big Data jest bardzo zróżnicowana ― sięga od podejść „tradycyjnych”, poprzez zarządzanie bazami danych, aż po analizę danych biznesowych.

• Technologie bazodanowe „NoSQL” do obsługi częściowo usystematyzowanych i nieusystematyzowanych danych oraz danych multimedialnych, takie jak Cassandra, HBase, MongoDB i Neo4J. 
• Środowiska do przetwarzania równoległego oparte na modelu Map-Reduce oraz rozproszone systemy plików, np. środowisko Hadoop z narzędziami towarzyszącymi, takimi jak Pig i Hive.
• Bardziej zaawansowane i zróżnicowane możliwości analityczne, w ramach których do nauczania maszynowego wykorzystuje się nawet metody sztucznej inteligencji.
• Intensywniejsze wykorzystywanie specjalistycznych narzędzi statystycznych, takich jak SAS lub R.
• Rozszerzona, oparta na współpracy wizualizacja oraz interaktywne interfejsy dla użytkowników.

Nabiera kształtów „ekosystem” złożony z nowych narzędzi do zarządzania danymi, obejmujący różne warstwy zasobów danych istniejących w przedsiębiorstwie oraz zapewniający kompleksowe podejście do obsługi danych określane mianem „Total Data”.

Temu „wielowarstwowemu stosowi” będą towarzyszyć specyficzne narzędzia i metodyki do obsługi najważniejszych aspektów nadzoru nad zasadami, w tym także zasadami z zakresu ochrony bezpieczeństwa, prywatności i łączności internetowej. Zachodzi więc konieczność opracowania kompleksowej strategii zarządzania danymi obejmującej wszystkie te aspekty.

W przypadkach, w których informacje szybko tracą aktualność, trzeba uzyskiwać, przetwarzać i korelować dane, a także wyciągać z nich wnioski i podejmować na tej podstawie właściwe działania, w czasie maksymalnie zbliżonym do rzeczywistego. W sytuacjach, które nie wymagają aż tak szybkiej reakcji, w celu wykrywania ważnych ukrytych tendencji i korelacji rozbudowuje się tradycyjne mechanizmy hurtowni danych oraz wykorzystuje w szerszym zakresie zaawansowane techniki, takie jak uczenie maszynowe oparte na sztucznej inteligencji.

Wpływ na działalność biznesową

Początkowo wobec tradycyjnych „deskryptywnych” narzędzi analitycznych stosowano podejście przyrostowe ― „To jakby hurtownia danych, tylko WIĘKSZA”. Stopniowo zaczęły się jednak pojawiać modele bardziej innowacyjne. Na przykład w podejściach wykorzystujących strategię opartą na wzorcach kładzie się silny nacisk na możliwości analizy predykcyjnej i analizy w czasie rzeczywistym, aby wykorzystać „ukryte skarby” tkwiące w zgromadzonych danych.

Bardziej dynamiczne przedsiębiorstwa muszą się liczyć z poważniejszymi zmianami w modelu działalności biznesowej wynikającymi np. z inicjatyw związanych z udostępnianiem danych jako usługi (Data as a Service), takich jak modele „Data Marketplace” (Rynek danych).

Rozpowszechnianie na rynku

Technologia Big Data ma wiele potencjalnych zastosowań. Specyfika poszczególnych branż może być inna, jednak uwagę zwracają już pewne konkretne wzorce biznesowe.

• Uzyskiwanie szczegółowej wiedzy o klientach w wyniku analizy wszystkich zgromadzonych danych.
• Zaawansowane prognozowanie z wykorzystaniem strategii opartej na wzorcach oraz analizy predykcyjnej opartej na sztucznej inteligencji. 
• Wykrywanie wzorców „ukrytej działalności biznesowej”, na przykład w dziedzinie wykrywania zaawansowanych oszustw.
• Zwiększenie zakresu automatyzacji w systemach maszyna-maszyna w celu skrócenia czasu reakcji.
• Większa przejrzystość dzięki łatwiejszemu dostępowi do danych zapewnianemu przez modele OpenData.
• Model „Enhanced Data Experimentation” (Eksperymenty w oparciu o rozszerzone zasoby danych) ― weryfikacja hipotez na podstawie danych, a nie przeczuć.
• Dostawcy innowacyjnych, nowych modeli biznesowych, takich jak udostępnianie danych jako usługi (Data as a Service ― DaaS).

Wniosek

Transformacyjne modele biznesowe i organizacyjne, skoncentrowane na zyskującym coraz większą popularność podejściu zakładającym znacznie lepsze wykorzystywanie danych do podejmowania decyzji, będą mieć trwały wpływ na sytuację przedsiębiorstw. Podejście to stało się możliwe dzięki nowym usługom, takim jak strategia oparta na wzorcach (Pattern Based Strategy), zapewnianie przejrzystości danych (OpenData) i udostępnianie analiz danych jako usługi (Data Analytics as a Service). Wszystkie te usługi są realizowane przez wiodącą na globalnym rynku IT firmę Atos.

W branży coraz częściej stosuje się termin „Big Data” (wielkie zbiory danych), który oznacza gwałtowny wzrost ilości i różnorodności informacji elektronicznych spływających do przedsiębiorstw w miarę ewoluowania ich procesów biznesowych. Rozwiązania do zarządzania wielkimi zbiorami danych muszą obsługiwać zróżnicowane typy danych: dane usystematyzowane i nieusystematyzowane, dane spływające w czasie rzeczywistym i przetwarzane wsadowo, spływające ewidentnie losowo dane z sieci społecznościowych, a nawet dane stanowiące „produkt uboczny” przetwarzania, takie jak pliki dziennika baz danych.

Gwałtowny wzrost ilości danych to fakt ― tendencja ta wywiera już wpływ na przedsiębiorstwa i nie zniknie.

Traktowanie technologii Big Data jako najnowszej „przejściowej mody” byłoby błędem. Ma ona poważne znaczenie biznesowe. Po początkowej fazie „zagubienia” tradycyjne i oparte na tej technologii podejścia analityczne ulegną połączeniu w ujednoliconą platformę kompleksowej obsługi danych określaną mianem „Total Data”. Technologia Big Data stymuluje rozwój działalności biznesowej, a zapewniane przez nią korzyści ulegają zwielokrotnieniu, jeśli połączy się ją z innymi rozwijającymi się przełomowymi technologiami. Na przykład w wyniku połączenia technologii Big Data, strategii opartej na wzorcach i technologii chmury powstaje model „udostępniania analiz danych jako usługi” (Data Analytics as a Service).

W środowisku biznesowym „wartościowe wzorce” będą wykorzystywane w konkretnych zastosowaniach ― niektóre w zastosowaniach ogólnych, inne w specyficznych zastosowaniach branżowych. Korzyści kluczowe z punktu widzenia transformacji będą pochodzić spoza strefy modeli „zwykłej działalności biznesowej, opartej jedynie na większej ilości danych”. Koncepcje takie jak przejrzystość danych, dane osobowe, udostępnianie danych jako usługi oraz strategia oparta na danych zmieniają sposób prowadzenia działalności biznesowej, zachęcając nawet niekiedy do uruchamiania nowych kierunków tej działalności.

Branża udostępniania oprogramowania jako usługi (Software as a Service ― SaaS) rozwinęła się w bardzo krótkim czasie po pojawieniu się tego modelu. Przetwarzanie danych stało się towarem, a od samodzielnej obsługi tego typu zadań odchodzą zarówno klienci indywidualni, jak i firmy. Dla użytkowników indywidualnych i biznesowych normą jest obecnie nieograniczony dostęp do Internetu oraz szybkie połączenia zapewniające dostęp do aplikacji i danych zarówno z urządzeń stacjonarnych, jak i mobilnych.

Użytkownicy oczekują obecnie obsługi na zasadzie „kliknij i pracuj”, czyli możliwości wybierania aplikacji i ich uruchamiania w ciągu paru sekund. Mają coraz łatwiejszy dostęp do dowolnych usług z dowolnego urządzenia, w wyniku czego wskaźnik wykorzystania takich usług wciąż rośnie, i to w bardzo szybkim tempie. Usługi te działają nie tylko w oparciu o dane utworzone przez użytkownika, ale wykorzystują także dane wygenerowane przez czujniki oraz informacje kontekstowe z różnych urządzeń. Takie dane mogą być bardzo cenne. Obecnie gromadzi się i przechowuje ogromne ilości kontekstowych danych użytkowników, często bez konkretnego planu ich wykorzystania, tylko na podstawie przypisanej im hipotetycznej wartości. Nieuchronnie zaczną się pojawiać nowe modele biznesowe, które umożliwią wykorzystywanie tego typu danych.

Wpływ na działalność biznesową

Znaczna część popularnych dziś usług online jest udostępniana użytkownikom indywidualnym i biznesowym bezpłatnie lub za stosunkowo niewielką opłatą. Aby utrzymać się na rynku, usługi takie muszą generować przychody z ich wykorzystania poza sferą podstawowego produktu. Wycena firm oraz ich zdolność inwestycyjna będzie zależeć od możliwości realistycznego prognozowania przyszłych strumieni przychodów z obsługi dużej liczby klientów lub w wyniku stosowania wyższych cen za usługi elitarne (premium), a najlepiej z obu tych działań.

Rozwiązanie tego problemu oferuje teoria ekonomiczna dotycząca rynków dwustronnych12. W efekcie wykorzystania danych generowanych w wyniku użycia platformy do tworzenia informacji cennych dla podmiotów zewnętrznych, powstaje pośredni model biznesowy. Może to pomóc w uzyskaniu dodatkowych przychodów koniecznych do tego, aby dana usługa stała się rentowna. Podejście takie wymaga zdolności do szczegółowej analizy, przechowywania i wyodrębniania dużych ilości danych, niekiedy w czasie rzeczywistym.

Bez rentownego modelu biznesowego, który zaspokoi potrzeby wszystkich zainteresowanych stron, platformy i usługi internetowe będą mieć problemy z przyciągnięciem dużej liczby użytkowników oraz z uzyskaniem pozycji czołowych rynków łączących producentów danych z ich odbiorcami. Modele takie powinny łączyć w sobie mechanizm naliczania opłat za transakcje (obejmujących koszty bezpośrednie) z podejściem do czerpania dochodów z danych stymulującym generowanie przychodów i marż. Opłatami transakcyjnymi można obciążać użytkowników, ale mogą one także zostać wchłonięte w ramach systemu przez inne zainteresowane strony.

Źródło: ATOS POLSKA