Dankzij de innovatieve technieken onderscheid onze Datafabriek zich door:eenuniekdata-integratiepatroon:eenvoudigedataintegratiedoorgeautomatiseerddatasamentevoegen(zonder dat‘schemas’voorafbekendhoeventezijn).Hiermee,excelleertdeDatafabriekincomplexeinfrastructuren (integreert data automatisch van honderden en zelfs duizenden bronnen!)het creëeren van hoge kwaliteit data vanuit iedere bron (ook ongestructureerde data)automatischstreamenvanhogekwaliteitdatasetsdieuwquerymatchtnaaruweigenapplicaties&platforms(data modelling)hetverrijkenvandatamet(externe)referentiebronnen,hetnormaliserenvandataenkunnenterugschrijvennaaruw databronnen. Hiermee wordt data curatie & normalisatie van uw data bronnen (b.v. MDM & ERP systemen) mogelijkondersteuningvooriedereregelgevingrondomgegevensbeschermingdooranonimiseringenpseudonimiseringte combinerenmet115verschillendepersoonsgebondenkenmerkendieautomatischwordengeïdentificeerd.Iederland kanzijneigendatapoliciestoepassen.DeDatafabriekkanzodanigingeregeldwordendatdatabepaaldegrenzen niet overschrijdt en dat specifieke type data niet gecombineerd gaan wordendata inzichten en automatisering van datamanagement taken en veel meer“Dataintegration(49%)anddatapreparation(37%)areamongthetopthreetechnologiesthatorganizations would like to automate by 2020.”Ehtisham Zaidi, Eric Thoo, Guido De Simoni, Mark Beyer - Gartner -DeDatafabriekkanbijnaallesautomatiseren;deDatafabriekheeftzichvolledigtoegelegdomiederonderdeelvanhetdata proces te stroomlijnen door onder andere:reinforcement learningeenvoudige annotatie en labelengraph-based Data Stewarding
Geautomatiseerd crawlen van interne en externe databronnen
De Datafabriek is een data integratie platform (iPaaS) die in staat is om Data als Service (DaaS) te leveren.De Datafabriek heeft meer dan 220 prebuild, out-of-the-box, integrations (connectors). Crawlersverzamelenvollediggeautomatiseerdallecontentuitgestructureerdedata,ongestructureerdedataen‘image only’filesvaniedereinternebron(inclusieflegacysystemen).Datavanexternebronnenkaneveneensverzameldworden (b.v.t.b.v.dataverrijkingencompleterenvanrecords).Nahethebbentoegepastvaneenreeksinnovatievetechniekenop de verzamelde data, wordt hoge kwaliteit data gerealiseerd en kunnen vele use cases ondersteund worden.
Data samenvoegen en opschonen: maken van hoge kwaliteit data
“Hoe goed is uw datakwaliteit?”Tijdenshetdata-verzamelprocess,schonenwijdevergaardedatavolledigautomatischop.dooronderandere‘natural languageprocessing’,triangulatieen‘fuzzymerging’technieken,wordtdedatageorganiseerd,gededupliceerden verrijkt,wordenrelatiestussendedatagelegdendedatasamengevoegd. Additioneelworden,18‘dataqualitymetrics’en een reeks van algoritmes toegepast die voor ervoor zorgen dat hoge kwaliteit data wordt gecreëerd.Dezegeautomatiseerde‘datapreparationsteps’makenhetvoorumogelijkomdataomtezettenininformatieenzijnde eerstestappennaar‘datacuration&normalisation’.DeDatafabriekkanterugschrijvennaarmeerdan350bronnen. Hiermeewordthetmogelijkom,naverificatiedooreendatastewardofdataengineer,‘datacuration&datanormalisation’ op uw databronnen (b.v. MDM & ERP systemen) toe te passen.
Data-analyses en meer
Dedatafabriekmaaktgebruikvanvijfverschillendetypedatabasesmaarslechtseen‘query-language’hoeftteworden gebruikt.Iedere(sub)setvanhogekwaliteitdatakanhiermeewordengestreamd.Hierdoorkan,bijnainrealtime,informatie aangeleverdworden,zodradezeverwerktoftoegevoegdisinuworganisatie.Maarook‘machinelearning’,kunstmatige intelligentie,data-analyses,datascienceenbusinessintelligencetoepassingenzullengrotevoordelenondervindenvanhet automatisch kunnen streamen van de benodigde informatie naar die applicaties die u al in gebruik heeft.
Data as a Service: DaaS-style architectuur
Op 25 juli 2019 schrijft Gartner in hun “Hype Cycle Report for Enterprise Information Management” het volgende:"DataandanalyticsleaderssuchasdataarchitectsshouldconsiderDaaS-stylearchitectureasone optiontoexpandandcomplementtheexistingdatamanagementstrategyandinfrastructure.…DaaS canserveasameansofaddressingthegrowingvarietyofdata,andthisissometimesrepresentedaspartof a new value statement for building this type of infrastructure.”Op11september2019:concludeertGartnerin“ModernDataand AnalyticsRequirementsDemandaConvergenceofData Management Capabilities” het volgende:“Duetochangingrequirements,moderndataandanalyticsusecasesneedaportfolioofcapabilitiesthat cannotbefulfilledbyexisting,stand-aloneproducts.Dataandanalyticsleadersmustinvestinnewdata management solutions that leverage aggregated and integrated capabilities.”DeDatafabrieklevertDaaS:hoge kwaliteitdatakanvanuitdeDatafabriek viapushenpulltechniekenbeschikbaar wordengesteldaanDataWarehouses, PowerBI,GoogleBigQueryofiederetool dieopgeschoondeenge-dedupliceerde datanodigheeft.DeDatafabriekkan extrafunctionaliteitenbiedenvoor platformenalsAzure,HadoopenIBM datalake.DeDatafabriekondersteunt eveneens“Keep Me In The loop”,unified viewenmeer.DeDatafabriekpastin iedereinfrastructuurenmaakthierbij processenmeerefficiënt,bespaarttijden geld.
Data inzicht en datamanagement
Tijdenshetcrawlenvanallecontentnemenwijderechtenstructuur,metadataenlogfilesmee.Hiermeekuntu (geautomatiseerde)datamanagementtakenuitvoerenenverwerftudatainzichten.Ditmaaktgovernance,riskmanagement en compliance ondersteuning mogelijk op meerdere gebieden waaronder het:automatisch catalogiseren van documenten via ‘machine learning’ techniekenmonitoren van ‘data leaks’ voor bijvoorbeeld documenten die geclassificeerd zijn als confidentieel verwervenvaninzichtenbetreffendepersoonsgebondendata.Rapportenkunnenwordengegenereerdeninformatie verstrektoverdedatalocatieszonderdatanderedepartementenhierbijbetrokkenhoeventeworden.Datakan volledig automatisch worden geanonimiseerd wanneer data gestreamd wordt voor analyses (BI, data science enz).vollediggeautomatiseerdtoepassenvandataretentieprocedures.‘Datalifecyclemanagement’(DLM)kanvolledig geautomatiseerd of na goedkeuring van ‘data owners’ worden toegepast.
Data wordt informatie
Doordeintegratievanalledata,hetopschonen,combinerenenverrijkenvandata,dedashboardsenalerts,dedata-analysemogelijkheden,deunieke‘unifiedview’,hetkunnentoevoegenvanexternedatabronnen,hetrealtimeverwerken vaninformatiediedirectbeschikbaarwordtgesteldvoorkenniswerkers,managementofdatascientists,hetkunnenvinden van een naald in een hooiberg, het verwerven van data inzicht en meer, wordt data omgezet in informatie.DoordatdeDatafabriekrelatiestussendatakanleggenensterkisin‘datalineage’,liggennietalleentoepassingenophet gebiedvanongestructureerdedatainhetverschietmaarookgestructureerdedata.Hetleggenenanalyserenvan verbandentussenrecordsvanbijvoorbeeldERP-systemenismogelijk.Hierdoorkunnenongekendeinzichtenworden gerealiseerd.Doorhetverwerkenvanexternedatabronnenzijnookveelanderetoepassingenmogelijkwaaronder‘know your customer’ (KYC) en een 360 graden view van medewerkers en organisaties.Dedatafabriekisvangrotewaardevooronderanderedirectieenmanagement,marketing,P&O,HRM&recruitment, data scientists & analisten, IT en kenniswerkers.AlsumeerinformatieoverdeDatafabriekwiltontvangenofalsuvragenhebtoverdeveleusecaseswaarmeede Datafabriek u kan ondersteunen, aarzel niet om ons te benaderen.
De Datafabriek samengevat
1.DeDatafabriekcreëerteenunieke,solide,flexibeleeneenvoudigschaalbare‘datafoundation’diepastinelke (complexe) infrastructuur2.Innovatievetechniekenzorgenvoorhetcreërenvanhogekwaliteitdatazondertehoevenwetenhoedataenrecords zich verhouden om ze samen te voegen3.(Hoge-kwaliteit)datasetsdieovereenkomenmeteengedefinieerdequery,wordenautomatischgestreamdnaarandere applicaties en platformen (push en pull)4.Terugschrijvennaardeoriginelebronnen(mettussenkomstvaneendatasteward,dataengineeroffunctionaris gegevensbescherming) wordt ondersteund5.Doorhetcombinerenvandegeïntegreerdefunctionaliteitenzoalsdatalineage,metadataverzamelenenaanmaken, datacatalog,streaming-enterugschrijfmogelijkheden,machinelearningcapaciteiten,geautomatiseerdefraudedetectie en nog veel meer, kunnen veel interne data-gerelateerde use cases worden ondersteund en opgelost.Als zodanig mag onze Datafabriek als slimme Datafabriek worden bestempeld!MetdeDatafabriekverwerftuinzichtenenkrijgtucontroleovereninformatieuituwwaardevolledata,zonderuwmanier van werken te veranderen. Dit terwijl u de infrastructuur waarin u al hebt geïnvesteerd, blijft gebruiken.DeDatafabriekverhoogtdeefficiëntieopvelevlakkenenzaluveeltijdengeldbesparen.HiermeeheeftdeDatafabriek eenhogeROI.Wemakenditgraagvooruworganisatieinzichtelijkdoorhetinkaartbrengenvanverschillende(waarde) indicatoren.ErvaltveelmeertevertellenoverdemogelijkhedenvandeDatafabriekendetoegepasteinnovatievetechnieken.Aarzel niet om ons te benaderen.+31 (0) 252 225 466 info@s10group.nl
Data Integration
Data Management
Data Preparation
Data Governance
Data Cleaning
Data Catalog
Data Lineage
Data Training
Data Intelligence
Data Mart
Data Access
Data Workflow
De datakwaliteit wordt geanalyseerd m.b.v. 18 ‘data quality metrics’. Door het aanpassen van de percentages, kan de datakwaliteit verbeterd worden tot de het gewenste niveau.
De dataset “Customer Data” van een query, wordt automatisch gestreamd voor voorspellende analyse
Meer dan 220 out-of-the-box integraties zijn ontwikkeld
Wat is de Slimme Datafabriek en hoe werkt deze?
Creëer hoge kwaliteit data
Streamline het proces om data gebruiksklaar te krijgen
Dankzijdeinnovatievetechniekenonderscheidonze Datafabriek zich door:eenuniekdata-integratiepatroon:eenvoudigedata integratiedoorgeautomatiseerddatasamentevoegen (zonderdat‘schemas’voorafbekendhoeventezijn). Hiermee,excelleertdeDatafabriekincomplexe infrastructuren(integreertdataautomatischvan honderden en zelfs duizenden bronnen!)hetcreëerenvanhogekwaliteitdatavanuitiederebron (ook ongestructureerde data)automatischstreamenvanhogekwaliteitdatasetsdie uwquerymatchtnaaruweigenapplicaties&platforms (data modelling)hetverrijkenvandatamet(externe)referentiebronnen, hetnormaliserenvandataenkunnenterugschrijvennaar uwdatabronnen.Hiermeewordtdatacuratie& normalisatievanuwdatabronnen(b.v.MDM&ERP systemen) mogelijkondersteuningvooriedereregelgevingrondom gegevensbeschermingdooranonimiseringen pseudonimiseringtecombinerenmet115verschillende persoonsgebondenkenmerkendieautomatischworden geïdentificeerd.Iederlandkanzijneigendatapolicies toepassen.DeDatafabriekkanzodanigingeregeld wordendatdatabepaaldegrenzennietoverschrijdten dat specifieke type data niet gecombineerd gaan wordendatainzichtenenautomatiseringvandatamanagement taken en veel meer“Dataintegration(49%)anddatapreparation (37%)areamongthetopthreetechnologiesthat organizations would like to automate by 2020.”Ehtisham Zaidi, Eric Thoo, Guido De Simoni, Mark Beyer - Gartner -DeDatafabriekkanbijnaallesautomatiseren;deDatafabriek heeftzichvolledigtoegelegdomiederonderdeelvanhetdata proces te stroomlijnen door onder andere:reinforcement learningeenvoudige annotatie en labelengraph-based Data Stewarding
Geautomatiseerd crawlen van interne en externe
databronnen
DeDatafabriekiseendataintegratieplatform(iPaaS)diein staat is om Data als Service (DaaS) te leveren.DeDatafabriekheeftmeerdan220prebuild,out-of-the-box, integrations (connectors). Crawlersverzamelenvollediggeautomatiseerdallecontentuit gestructureerdedata,ongestructureerdedataen‘imageonly’ filesvaniedereinternebron(inclusieflegacysystemen).Data vanexternebronnenkaneveneensverzameldworden(b.v. t.b.v.dataverrijkingencompleterenvanrecords).Nahet hebbentoegepastvaneenreeksinnovatievetechniekenop deverzameldedata,wordthogekwaliteitdatagerealiseerden kunnen vele use cases ondersteund worden.
Data samenvoegen en opschonen: maken van
hoge kwaliteit data
“Hoe goed is uw datakwaliteit?”Tijdenshetdata-verzamelprocess,schonenwijdevergaarde datavolledigautomatischop.dooronderandere‘natural languageprocessing’,triangulatieen‘fuzzymerging’ technieken,wordtdedatageorganiseerd,gededupliceerd enverrijkt,wordenrelatiestussendedatagelegdendedata samengevoegd.Additioneelworden,18‘dataqualitymetrics’eneenreeksvanalgoritmestoegepastdievoorervoorzorgen dat hoge kwaliteit data wordt gecreëerd.Dezegeautomatiseerde‘datapreparationsteps’makenhet voorumogelijkomdataomtezettenininformatieenzijnde eerstestappennaar‘datacuration&normalisation’.De Datafabriekkanterugschrijvennaarmeerdan350bronnen. Hiermeewordthetmogelijkom,naverificatiedooreendata stewardofdataengineer,‘datacuration&datanormalisation’ opuwdatabronnen(b.v.MDM&ERPsystemen)toete passen.
Data-analyses en meer
Dedatafabriekmaaktgebruikvanvijfverschillendetype databasesmaarslechtseen‘query-language’hoeftteworden gebruikt.Iedere(sub)setvanhogekwaliteitdatakanhiermee wordengestreamd.Hierdoorkan,bijnainrealtime,informatie aangeleverdworden,zodradezeverwerktoftoegevoegdisin uworganisatie.Maarook‘machinelearning’,kunstmatige intelligentie,data-analyses,datascienceenbusiness intelligencetoepassingenzullengrotevoordelenondervinden vanhetautomatischkunnenstreamenvandebenodigde informatie naar die applicaties die u al in gebruik heeft.
Data as a Service: DaaS-style architectuur
Op25juli2019schrijftGartnerinhun“HypeCycleReportfor Enterprise Information Management” het volgende:"Dataandanalyticsleaderssuchasdata architectsshouldconsiderDaaS-style architectureasoneoptiontoexpandand complementtheexistingdatamanagement strategyandinfrastructure.…DaaScan serveasameansofaddressingthegrowing varietyofdata,andthisissometimes representedaspartofanewvaluestatementfor building this type of infrastructure.”Op11september2019:concludeertGartnerin“ModernData andAnalyticsRequirementsDemandaConvergenceofData Management Capabilities” het volgende:“Duetochangingrequirements,moderndata andanalyticsusecasesneedaportfolioof capabilitiesthatcannotbefulfilledbyexisting, stand-aloneproducts.Dataandanalytics leadersmustinvestinnewdatamanagement solutionsthatleverageaggregatedand integrated capabilities.”DeDatafabrieklevertDaaS:hogekwaliteitdatakanvanuitde Datafabriekviapushenpulltechniekenbeschikbaarworden gesteldaanDataWarehouses,PowerBI,GoogleBigQueryof iederetooldieopgeschoondeenge-dedupliceerdedatanodig heeft.DeDatafabriekkanextrafunctionaliteitenbiedenvoor platformenalsAzure,HadoopenIBMdatalake.De Datafabriekondersteunteveneens“Keep Me In The loop”, unifiedviewenmeer.DeDatafabriekpastiniedere infrastructuurenmaakthierbijprocessenmeerefficiënt, bespaart tijd en geld.
Data inzicht en datamanagement
Tijdenshetcrawlenvanallecontentnemenwijderechten structuur,metadataenlogfilesmee.Hiermeekuntu (geautomatiseerde)datamanagementtakenuitvoerenen verwerftudatainzichten.Ditmaaktgovernance, riskmanagementencomplianceondersteuningmogelijkop meerdere gebieden waaronder het:automatischcatalogiserenvandocumentenvia ‘machine learning’ techniekenmonitorenvan‘dataleaks’voorbijvoorbeelddocumenten die geclassificeerd zijn als confidentieel verwervenvaninzichtenbetreffende persoonsgebondendata.Rapportenkunnenworden gegenereerdeninformatieverstrektoverdedatalocaties zonderdatanderedepartementenhierbijbetrokken hoeventeworden.Datakanvolledigautomatischworden geanonimiseerdwanneerdatagestreamdwordtvoor analyses (BI, data science enz).vollediggeautomatiseerdtoepassenvandataretentie procedures.‘Datalifecyclemanagement’(DLM)kan vollediggeautomatiseerdofnagoedkeuringvan‘data owners’ worden toegepast.
Data wordt informatie
Doordeintegratievanalledata,hetopschonen,combineren enverrijkenvandata,dedashboardsenalerts,dedata-analysemogelijkheden,deunieke‘unifiedview’,hetkunnen toevoegenvanexternedatabronnen,hetrealtimeverwerken vaninformatiediedirectbeschikbaarwordtgesteldvoor kenniswerkers,managementofdatascientists,hetkunnen vindenvaneennaaldineenhooiberg,hetverwervenvandata inzicht en meer, wordt data omgezet in informatie.DoordatdeDatafabriekrelatiestussendatakanleggenen sterkisin‘datalineage’,liggennietalleentoepassingenophet gebiedvanongestructureerdedatainhetverschietmaarook gestructureerdedata.Hetleggenenanalyserenvan verbandentussenrecordsvanbijvoorbeeldERP-systemenis mogelijk.Hierdoorkunnenongekendeinzichtenworden gerealiseerd.Doorhetverwerkenvanexternedatabronnen zijnookveelanderetoepassingenmogelijkwaaronder‘know yourcustomer’(KYC)eneen360gradenviewvan medewerkers en organisaties.Dedatafabriekisvangrotewaardevooronderandere directieenmanagement,marketing,P&O,HRM& recruitment,datascientists&analisten,ITen kenniswerkers.AlsumeerinformatieoverdeDatafabriekwiltontvangenof alsuvragenhebtoverdeveleusecaseswaarmeede Datafabriekukanondersteunen,aarzelnietomonste benaderen.
De Datafabriek samengevat
1.DeDatafabriekcreëerteenunieke,solide,flexibeleen eenvoudigschaalbare‘datafoundation’diepastinelke (complexe) infrastructuur2.Innovatievetechniekenzorgenvoorhetcreërenvanhoge kwaliteitdatazondertehoevenwetenhoedataenrecords zich verhouden om ze samen te voegen3.(Hoge-kwaliteit)datasetsdieovereenkomenmeteen gedefinieerdequery,wordenautomatischgestreamdnaar andere applicaties en platformen (push en pull)4.Terugschrijvennaardeoriginelebronnen(met tussenkomstvaneendatasteward,dataengineerof functionaris gegevensbescherming) wordt ondersteund5.Doorhetcombinerenvandegeïntegreerde functionaliteitenzoalsdatalineage,metadataverzamelen enaanmaken,datacatalog,streaming-en terugschrijfmogelijkheden,machinelearningcapaciteiten, geautomatiseerdefraudedetectieennogveelmeer, kunnenveelinternedata-gerelateerdeusecasesworden ondersteund en opgelost.AlszodanigmagonzeDatafabriekalsslimmeDatafabriek worden bestempeld!MetdeDatafabriekverwerftuinzichtenenkrijgtucontrole overeninformatieuituwwaardevolledata,zonderuwmanier vanwerkenteveranderen.Ditterwijludeinfrastructuur waarin u al hebt geïnvesteerd, blijft gebruiken.DeDatafabriekverhoogtdeefficiëntieopvelevlakkenenzalu veeltijdengeldbesparen.HiermeeheeftdeDatafabriekeen hogeROI.Wemakenditgraagvooruworganisatieinzichtelijk doorhetinkaartbrengenvanverschillende(waarde) indicatoren.Ervaltveelmeertevertellenoverdemogelijkhedenvande Datafabriekendetoegepasteinnovatievetechnieken.Aarzel niet om ons te benaderen.+31 (0) 252 225 466 info@s10group.nl
Meer dan 220 out-of-the-box integraties zijn ontwikkeld
De datakwaliteit wordt geanalyseerd m.b.v. 18 ‘data quality metrics’. Door het aanpassen van de percentages, kan de datakwaliteit verbeterd worden tot de het gewenste niveau.
De dataset “Customer Data” van een query, wordt automatisch gestreamd voor voorspellende analyse
Data Integration
Data Management
Data Preparation
Data Governance
Data Cleaning
Data Catalog
Data Lineage
Data Training
Data Intelligence
Data Mart
Data Access
Data Workflow
Creëer hoge kwaliteitsdata Streamline het proces om data gebruiksklaar te krijgenWordt Datagedreven met de Databriek!
1. Collecting data & data curation/normalisation2. Organising data and data governance, processing new data and requests3. Streaming of defined quality data to applications/platforms4. Data management and internal use cases
Automatischedata-integratie
Benieuwd naar de use cases van onze klanten of op welke wijze wij uw use cases kunnen ondersteunen?Neem contact met ons op!
Dataunificatiemet de Dafabriek…
Data AccuracyData ValidityData CompletenessData RelevanceData UniformityData StewardshipData ConsistencyData AccountabilityData Connectivity
1.2.3.4.5.6.7.8.9.
Data ReliabilityData QualityData TimelinessData IntegrityData ConformityData FlexibilityData Staleness Data AvailabilityData Usability
10.11.12.13.14.15.16.17.18.
18 data quality metrics
Datakanaaneengebruikeropverzoekworden aangeleverd.Kwaliteitsdatawordtcentraal gerealiseerddoordataopteschonenente verrijken.Dezekwaliteitsdatakanworden aangebodenaanverschillendesystemen, applicatiesengebruikers,ongeachthunlocatie. DaaS-oplossingen bieden voordelen als:Erisgeenuitgebreidekennisvande onderliggende data (opslag) vereistKosten efficiëntVerbetering van de datakwaliteit