Sledování datových toků mezi mikroslužbami

1. Prostudujte existující přístupy pro sledování datových toků napříč mikroslužbami a datovými zdroji.

2. Analyzujte vhodné technologie, zaměřte se na dostupné nástroje a frameworky, které podporují vizualizaci a správu datových toků a identifikujte jejich klíčové vlastnosti a omezení.

3. Navrhněte řešení pro sledování datových toků.

4. Implementujte navržené řešení.

5. Řešení otestujte reprezentativní sadou testů a zdokumentujte.

6. Realizované řešení kriticky zhodnoťte.

**
Seznam doporučené literatury: dodá vedoucí bakalářské práce

************************************
Název (Sledování datových toků mezi mikroslužbami)

Úkol: sledování datových toků a vizualizace. Pojem vizualizace jsme ze zadání raději odstranili, protože zatím není přesně známá složitost problému.

Problémem, kterým se bakalářská práce bude zabývat, je vizualizace toku dat (data lineage) napříč navzájem mezi sebou komunikujících aplikací. Máme rozsáhlý ekosystém aplikací, které produkují, přijímají, transformují a ukládají data. Je nezbytné efektivně vizualizovat, jak data plynou napříč celým ekosystémem a jak na sebe jednotlivé aplikace navazují. Práce se zaměří na prostudování existujících přístupů k řešení data lineage a na výběr vhodného řešení pro adaptaci.
Cílem práce je umožnit libovolné aplikaci jednoduché zapojení do procesu sledování a vizualizování datových toků nehledě na povahu aplikace a na jazyk ve kterém je implementována. Pro vývoj, testování a demonstraci bude potřeba vytvořit program produkující metadata simulující běh ekosystému.

Vhodným kandidátem pro zachycení informací o běhu daty skrz ekosystém aplikací by mohl být Open Lineage standard, jedná se o open source braný jako průmyslový standard. Pro vizualizaci samotnou by mohla být vhodná například aplikace Marquez(backend - Java Spring, databáze - PostgreSQL, frontend - React + Typescript) jenž Open Lineage standard implementuje a opět se jedná o open source.