Unificeer uw data met de Slimme

Datafabriek

Volledig geautomatiseerd (!) verzamelt de Slimme Datafabriek al uw data, maakt deze centraal beschikbaar, ontdubbelt en schoont de data op, houdt de data continu relevant en up-to- date en maakt de data beschikbaar voor verdere dataverwerking (b.v. analyses).

De ‘engines’ achter dit data unificatie-proces

Door gebruik te maken van ‘eventual connectivity’ wordt alle data (gestructureerde, ongestructureerde en image only files die worden OCR-ed) van interne en externe bronnen verzameld door crawlers en automatisch samengevoegd via een ingenieus proces door middel van o.a. onze ‘ merging engine ’. We stellen ‘connected data’ samen zonder dat we vooraf ‘schema's’ hoeven te kennen. Het samenvoegen en matchen wordt ‘on the fly’ gedaan, tijdens het data- integratieproces zelf: de data-relaties worden automatisch gelegd. Graph-technologie vormt de kern van dit proces, maar ‘search cluster’, ‘blob store’, ‘relation’ en ‘distributed cache’ zijn even belangrijk voor de snelheid en algehele functionaliteit. Onze ‘ inference-engine ’ helpt om connecties af te leiden uit zelfs de meest verontreinigde data. Het afleiden van connecties kost wat tijd, maar levert wel betere resultaten op. Onze ‘ weighted decision engine ’ neemt alleen beslissingen als het statistisch gezien zeker is dat een beslissing juist is. Als het betrouwbaarheidsniveau hiervan te laag is, wachten we tot er meer data is geïntegreerd en beoordelen we de eerdere beslissing opnieuw. We kunnen u laten zien waarom beslissingen worden genomen, wat eveneens bijdraagt aan leerproces van onze ‘engine’ omtrent de genomen beslissingen. Deze ‘engine’ draagt bij aan het voortdurend herevalueren, bijwerken en verrijken van uw data. In feite, hoe meer data er wordt geïntegreerd, hoe hoger de data-kwaliteit zal worden! Onze ‘ cleansing engine ’ schoont data op en normaliseert deze. Deze engine corrigeert spelfouten en corrigeert onjuiste identificatoren zoals e-mail, telefoonnummers en adressen. Hiervoor gebruikt de Slimme Datafabriek onder andere: ‘fuzzy merging’ van onder andere namen, bedrijven en locaties ‘named entity extraction’ om de statistische waarschijnlijkheid van matches te bepalen ‘parse trees’ om de context achter tekst te begrijpen externe lookups voor het valideren van invoer Het opschonings- en formatproces wordt automatisch uitgevoerd. Met deze stap wordt uw data optimaal voorbereid op de verdere dataverwerking door de Slimme Datafabriek. Onze ‘ de-duplication engine’ biedt u een algemene manier om absoluut alles te ontdubbelen, van taken tot documenten. De Slimme Datafabriek consolideert de duplicaten en informeert u eenvoudig over de verschillende locaties van dezelfde documenten. Met ons ‘ reinforcement leaning ’ kunt u interactief manueel de input en de kwaliteit van uw waardevolle data verder verbeteren. Zodra uw gegevens door de Slimme Datafabriek heen stromen, streamen we enkele vragen die moeten worden beantwoord. Hierdoor kan de Datafabriek leren van b.v. uw specifieke productnamen. Dit helpt de Datafabriek om (toekomstige) beslissingen te nemen omtrent uw data. Onze ‘ processing engine ’ (pipeline) is een extensieve combinatie van verwerkingsstappen om elk type data te kunnen begrijpen, te kunnen opschonen en te verrijken. De processen worden ondersteund door dashboards en intuïtieve interfaces. Onder andere kunt u met onze 18 datakwaliteit metrieken , de kwaliteit van uw data per metriek zien. Door de niveaus aan te passen, kunnen geautomatiseerde taken groepsgewijs worden goedgekeurd door uw data-engineers en kunnen uw datastewards toegewezen taken (ja/nee-vragen) ondersteunen als onderdeel van het ‘reinforcement learning’ proces.

De geünificeerde data beschikbaar maken: data

streaming

In de Slimme Datafabriek is alle geünificeerde data als datastroom voor u beschikbaar. De Slimme Datafabriek maakt gebruik van Graph-based modelling en ondersteunt alle use cases! Zoals hierboven vermeld, maakt de Slimme Datafabriek gebruik van vijf verschillende soorten databases waarmee u de gegevens die u nodig hebt, kunt modelleren en verwerken. U “abonneert” u eenvoudig op een bepaalde data-subset. Deze data wordt automatisch aangeleverd aan de applicatie of het platform dat u gebruikt. Nieuwe data die in uw organisatie wordt verwerkt maar overeenkomt met deze subset, wordt in bijna real-time aangeleverd. Elke applicatie zal profiteren van het ontvangen van “live” data en data die in waarde is toegenomen. Vergelijkbare functionaliteit wordt ondersteund door "keep me in the loop", waarmee u informatie in bijna real-time, in bijvoorbeeld uw mailbox, kunt ontvangen. Dit stelt u in staat om te reageren op deze nieuwe en relevante informatie. Samenvattend, de Slimme Datafabriek unificeert data geautomatiseerd, en creëert hiermee een solide datafundament waarbij alle data queryable is! De Datafabriek kan hoge-kwaliteitdata streamen voor verdere verwerking (analyse, data science, BI, AI, innovatie etc.). U heeft de volledige controle over hoe u uw data wilt gebruiken. De Slimme Datafabriek “retourneert” uw data eenvoudig op een flexibele manier, opgeschoond en verrijkt. Hiermee wordt de efficiëntie verbeterd en wordt er tijd vrijgemaakt die aan uw business use cases gespendeerd kan worden. Tevens kunnen er betere beslissingen worden genomen!

Data ligt verspreid opgeslagen in data silos

Technisch gezien is alle data die u nodig heeft binnen uw organisatie opgeslagen. Echter, zolang uw data over meerdere afdelingen in data silo's verspreid blijft en niet wordt geanalyseerd, is het nutteloos. Data unificatie levert waarde voor uw organisatie. Data unificatie ondersteunt ‘upstream consumers’, zoals data scientists en analisten, om queries uit te voeren. Hiermee kunnen ze alle data verkrijgen die ze nodig hebben om hun activiteiten uit te oefenen. Data unificatie realiseren uit complexe systemen is echter een van de grootste uitdagingen om te realiseren. Veel bedrijven hebben meer dan honderd, zo niet duizenden systemen en het is niet mogelijk om hierbij ETL te gebruiken.

Automatische data unificatie met de Datafabriek

De Slimme Datafabriek lost de moeilijkste uitdaging op het gebied van datamanagement op: “Hoe kan data uit databronnen en complexe systemen op een geautomatiseerde manier samengevoegd worden?” De eerste stap is het verzamelen (extraheren) van data. Dit is het makkelijke gedeelte. Maar alleen data verzamelen is niet genoeg. Om data unificatie te realiseren, moet uw data verbonden zijn (‘connected data’). Idealiter zou het resultaat 'gouden records' moeten zijn: te vertrouwen data die nauwkeurig en correct is. Om dit te bereiken, creëert de Slimme Datafabriek ‘connected data’ en verbetert de datakwaliteit door de data op te schonen, de data te ontdubbelen en te normaliseren en lege records op een geautomatiseerde manier in te vullen. Met deze unieke en geautomatiseerde wijze van data-integratie, maakt het niet uit of er maar een dozijn aan databronnen moeten worden geïntegreerd of enkele duizenden! Alleen de integratietijd zelf zal toenemen.