Data Mesh: Daten auf dem nächsten Level?

00:00:00: Intro

00:00:07: Hallo und herzlich willkommen bei Digital Future dem inovex Podcast mein Name ist Wolfgang Schoch und ich unterhalte mich heute mit meinem Kollegen Dominik Benz über das Thema data Mesh hallo Dominik schön dass du da bist.

00:00:19: Wolfgang vielen Dank ehrlich zu sein freue mich die anderen Podcast mitwirken zu dürfen.

00:00:25: Sehr schön ich freue mich heute mal richtig was zu lernen denn das Thema data mehr da kenne ich mich nicht wirklich so gut aus aber bevor man die Thematik einsteigen stelle ich doch mal ganz kurz vor Wer bist du eigentlich was machst du bei uns und wie lange bist du schon bei uns.

00:00:39: Ich kenne ja ich bin Dominik ich habe mittlerweile tatsächlich schon zehn Jahre inovex auf dem Buckel, meistens ziemlich alt vor wenn ich es sage.

00:00:49: Am Probezeit 10 Jahren im Team data management data management Analytics bin aktuell immer Leitungsteam dort unterwegs,

00:00:58: zu meiner Historie: in meiner Zeit vor inovex habe ich nicht bisschen in der Forschung rumgetrieben.

00:01:04: Mit der Maus mit dem Thema data-Mining beschäftigt auch im Social Web einmal sehr also spannend auf den großen Datenmengen die das Social Web,

00:01:14: Nachweis über ride stellt Dinge zu entdecken das seit ich beide weg bin aber ich will gar nicht daran Plattformen aufgebaut

00:01:23: möchte mal was mir Spaß gemacht weil Erding Unternehmen muss ich meistens zum gegen Daten aus verschiedenen Bereichen des Unternehmensdaten in allen Farben Formen Größenordnungen Timo zusammenzubringen

00:01:36: zugreifbar zumachen auswertbar zu machen.

00:01:39: Und mit der Person Schwerpunkt im Bereich data Engineering und weil die drauf geschafft und dann ich sagen

00:01:46: verschlagen ist bisschen 2 zu Herzen in meiner Brust einmal das Herz des data Engineering musst du dich drum GTA mit ja nicht großen Datenmengen klarzukommen wo er heute glaube ich ein Thema wird was ja wichtig sein wird uns andere so das Herz Vornamen,

00:02:01: davon müssten von Wetter sein Testen der so die nicht Methoden spannend findet um aus den Daten Mehrwert zu generieren ich mal ganz kurz.

00:02:10: Zu mir und zu meinem Profil.

00:02:12: Es ist spannend die Sache ist ja ich war ja auch mal im Team data management and Analytics und ich habe mich damals ganz viel mit Suchtechnologie beschäftigt

00:02:21: und ich fand es immer spannend der in den ganzen Projekten in denen ich war da kannst du mal Kunden die hatten total viele Daten irgendwie angehäuft.

00:02:29: Laufe von 15 oder 15 Jahren damals wann es immer ja hauptsächlich unstrukturierte Daten also Textdokumente

00:02:37: Office-Dateien et cetera

00:02:39: und was wir da gemacht haben aber immer mit Suchtechnologie diese ganzen Informationen irgendwie zugänglich machen und ich kann mir noch erinnern ich habe immer gern gesagt ja hallo,

00:02:49: wir schaffen es halt einfach mit Suchtechnologie

00:02:52: bei euch schon in Daten Schatz zu heben und da wirklich mal so das ganze Jahr dieses ganze digitale Gold auf dem ihr sitzt irgendwie zugänglich zu machen und euch nutzbar zu machen

00:03:02: und da das war nicht nur ein dummer Spruch sondern ich habe das auch wirklich so gesehen und ich sehe das heute immer noch so ich glaube Daten sind einfach unglaublich wertvoll vor allem wenn du im Laufe von Jahren da richtig viel Zeit rein steckst und Sachen an Holz.

00:03:16: Geht irgendwie darum ja die so zugreifbar zu machen dass du im richtigen Moment die richtigen Daten findest und dass du mir gleich sicherlich noch ein bisschen detaillierter erklären wirst.

00:03:26: Vielleicht doch neue Erkenntnisse quince aus den ganzen Daten.

00:03:29: Bist du nicht auch tatsächlich sehr spannend hat mich auch nicht mal gefragt warum ich eigentlich Daten dass ich dich so steigt faszinierend also warum das was ist das und so steigt antreibt und er müsste Anspruch irgendwo zu kommen von James Bond,

00:03:43: Simon aus dem Film das war rechtliche Informationen verlängern das Leben.

00:03:52: James Bond sehr richtig und der gleich da bis es eher naheliegend dass das in meine gute Informationen hat dass das.

00:04:00: Für sehr viele Dinge einfach hilfreich ist also einerseits um länger zu leben im Fall von Firma von meinem Bond.

00:04:08: Kann aber auch sonst wenn eine Firma das eigene Leben da weißt du ob ich jeder mehr zu wissen die wo die gute richtige Informationen zu haben das hilft einfach

00:04:20: gut Entscheidungen zu treffen das eine richtige zu tun und um,

00:04:25: mich noch bisschen mitgebracht werde ich gefragt was Micha nicht Daten definieren würde und ich glaube für jetzt passt es ganz gut wenn man sagt Daten sind eine Spinat digitale Repräsentation von der Informationen also,

00:04:38: Daten der will ja heute leben die Radikalisierung ist etwas was sehr stark voranschreitet werden,

00:04:45: immer mehr digitale Geräte natürlich mit den wer interagieren und natürlich jede Interaktion mit einem dieser Geräte,

00:04:53: für dich dazu dass Daten entstehen in allen Farben und Formen mit während der gerade sprechen entstehen aus unseren Stimmen.

00:05:02: Ton Daten sozusagen wenn du uns am Handy Fotos machen und schicken Foto Daten wir geben unsere.

00:05:09: Daten ein wie haben Tastaturen Touch Touch touch screens.

00:05:14: Wenn wir uns bewegen in stehen Daten und das ist eine sehr große Menge dein steten Datenschutz wie du schon gemeint hast.

00:05:24: Und das ist die spannende ist aber und da ist er nicht ausweisbar ich bei mir merke dass mich besonders eine Schatzsuche Thema antreibt ist das eigentlich Spannende ist das taten ihr Geheimnis,

00:05:39: oftmals nicht einfach so direkt preisgeben also muss immer so bisschen was tun,

00:05:44: um wirklich mit den Daten was anfangen zu können um daraus wird die bitte was ableiten zu können wo man will ich einen Mehrwert raus hat und.

00:05:53: Und das braucht man das Licht auf deinem Werkzeuge am.

00:05:57: Mir gefällt diese Metapher total gut mit der Schatzsuche ich habe jetzt schon direkt dass ihm von Indiana Jones im Kopf.

00:06:04: Und ich habe jetzt schon genauso ein Bild verkauft von Kopf wie man sich vielleicht auf die Suche macht im steten dieses datenschutzgeheimnis

00:06:12: und das hast du sehr gerade schon schon angesprochen gehabt dass man da Werkzeuge braucht Visiten so der Werkzeugkasten von so einem

00:06:21: Schatzsuche aus dem Bereich der Datensätze.

00:06:25: Genauso der Werkzeugkasten hat sich glaube ich über die Zeit ziemlich ziemlich stark entwickelt also das im Daten hingefahren von Mehrwert drin steckt ist es auch tatsächlich keine allzu neue Erkenntnis und erst recht keine neue Erkenntnis im Kontext des

00:06:38: Data mich natürlich also die am Daumen mit der diese Informationen oder diese diese Einsicht ist schon Kalefeld.

00:06:47: Und wenn man sich mal so bisschen glatt Historie von den von den Werkzeugen anguckt ist vielleicht das erste was wichtig ist oder an eines der ersten Werkzeuge die man da sieht der some data warehouse.

00:07:01: Konzept.

00:07:03: Was hast du 90er kommt also die war damals schon gemerkt natürlich auch damals in den Unternehmen bei MR gemerkt ja es gibt verschiedene Bereiche in den Unternehmen wobei sie verschiedene Art Daten der Daten entstehen.

00:07:17: Und mal da mal schon gemerkt es ist oft sehr hilfreich gerade übergreifende Analysen zu machen.

00:07:24: Um eben weiterführende Erkenntnisse zu gewinnen.

00:07:28: Beispiel vielleicht jetzt für so verschiedene Bereiche in so einem Unternehmen die jetzt da relevant sind bei dem data warehouse.

00:07:34: Was passierte zum Beispiel vorstellen kann ist wenn man seine Firma hat Dina hat Onlineshop betreibt oder.

00:07:43: Ich habe ein kleines Beispiel mitgebracht vielleicht von einer kleinen Trauben Firma dies die so haben.

00:07:50: Ja leid dass ich ja Fahrradfahrer und das fahrradfahren braucht man völlig immer mal wieder ein neues Fahrrad und.

00:07:56: Oh ja.

00:07:57: Da in der Ecke unterwegs und spricht man kauft ab und zu mal ein neues Fahrrad und so seine Beispiel Firma die ich mitgebracht habt vielleicht mit Beispieldaten ist,

00:08:06: am moseltraum Firma dass es eine den ultimativen Bike Konfigurator gibt also einen Hut Onlineshop wo ich mich anmelde und wo ich mir einfach mein Traum Fahrrad zusammenstellen kann,

00:08:20: mit allen Komponenten Reifen Laufräder Schaltung wie ich das gerne möchte dann bekomme ich das Rad.

00:08:27: Weil sie zu mir nach Hause geliefert und.

00:08:32: Indien in diesem Teil eingebaut ist auch immer gleich ganz sein Fahrradcomputer der noch mit lockt wo ich da hin fahre.

00:08:40: Und du musst jetzt vorstellt es gibt diese ultimative Fahrradfirma sozusagen.

00:08:45: Dann werden zwei mögliche Datenbereiche z.b. wenn ich sachanalysen machen möchte

00:08:52: welche Art Fahrräder kaufen denn meine Kunden das ist was was ich in diesem Online-Konfigurator direkt sehen würde ich sehe gleich sich dort anmeldet

00:09:01: Berthold was tue ich weiß ich was zusammenklebt weiß ich welches Fahrrad gekauft ist es sowas wie der eine Datenbereich denn ich sehe,

00:09:09: und ein weiterer Datenbereich wenn die Menschen dann ihre Fahrräder zusammen zu Haus bekommen haben da mit den Fahrrädern fahren.

00:09:16: Am und dann die Daten über ihre Fahrradtouren Zusagen hochladen dann ist es ein weiterer Datenbereich und.

00:09:25: Diese beiden Daten werden sozial zusammenzubringen für ein Übergreifen der Analyse des ist vielleicht ein wirkliches Beispiel für zwei.

00:09:35: Daten belton die man dann zum Beispiel wenn bitte wifi zusammenbringen kann also Daten dir nicht ursprünglich aus dem Onlineshop stammen sozusagen aus dem Fahrradshop,

00:09:45: daten Welt und Jana Datenwelt ist es was dann tatsächlich jeden aus der Nutzung sagen in steht und der bin im März.

00:09:54: Die vorstelle ein Teil dieser Firma dann wird mich eben zum Beispiel interessieren wenn ich ein Fahrrad verkaufe

00:10:01: und ich merke wie das Fahrrad benutzt wird dann kann ich dich hole ich auch zurück von Mehrwert Services anbieten ich kann Wartungen z.b. anbieten und diese Art Mehrwertdienst sozusagen die wird erst dann möglich

00:10:12: wenn ich für dich diese beiden Daten bilden zusammen bringen kann das vielleicht ein kleines Beispiel.

00:10:16: Alles besondere hier wäre jetzt auch dass alle Daten Welten auch komplett technologisch unterschiedlich sein könnten also für den Onlineshop ich kaufe da vielleicht ein fertiges Produkt es gibt ja Markt irgendwelche Sachen und ich customize mir das noch ein bisschen damit ich diesen Konfigurator habe das ist gleich eine Eigenentwicklung der Rest ist ein fertiger Onlineshop

00:10:36: und das steckt dahinter dann keine Ahnung welche Oracle-Datenbank und meine ganzen Bestelldaten drin sind

00:10:41: ich habe noch so einen User Tracking wo festgehalten wird wie es die User journey in in meinem Onlineshop wo kicken die ganzen Leute drauf

00:10:48: sie registriert nicht registriert dass du das ganze Zeug was man ja dass man vielleicht kennt wenn man sie mit Online-Shops beschäftigt und das landet jetzt schon Beispiel in so einer Oracle Datenbank.

00:10:58: Und dann habe ich jetzt noch dieses andere System dass du angesprochen hast also es gibt ja auf dem Markt doch so ein paar Plattformen wo man

00:11:05: deine ganzen Tracks und zu hochladen kann und es könnte technologisches komplett anderes sein also vielleicht

00:11:11: keine Ahnung Nick graphendatenbank kann man da die ganzen GPS-Tracks besser ablegen kann bloß noch eine relationale Datenbank für ein paar Metadaten etc und vielleicht noch in OpenStreetMap Server wo noch irgendwas Kellogg's jezak und dann habe ich

00:11:26: ja auch physikalisch komplett unterschiedliche Welten oh jetzt vielleicht,

00:11:31: die Administratoren für die Oracle-Datenbank geht weg keine Ahnung von von dem anderen System hat sich damit nicht auskennt und dazu der eine

00:11:40: Analyst vielleicht oder der eine Mensch wo dann manche irgendwie Report fürs management macht das verkauft wurde der kennt sich vielleicht mit diesem Oracle Reporting Tool ganz gut aus.

00:11:51: Aber halt nicht mit den ganzen anderen Sachen und zu dieses übergreifende wäre dann so ein Szenario ich jetzt sag ok Data-Warehouse ist genau das Richtige.

00:12:00: Genau das ist ja nicht ganz so gesagt und was du gerade ein verschrieben hast diese über die Vielfältigkeit in den Quellen oder in den an ich erzeugendensysteme das ist was was ich auch tatsächlich bisschen

00:12:11: durch die Historie die wertvolle Cihan geblickt haben die wirklich durchzieht weil.

00:12:17: Ampere Theater Unternehmen mit mit großer Daten werden wenn wichtiger und Teams möchten auch ihre Applikationen in ihrem Bereich eben mit.

00:12:28: Dehntechniken Technologien entwickeln diese selbst gut finden die vielleicht für den für den von der Joel Eustace gerade gut passend waschen allgemein Oracle weiß ich eine Graph Datenbank je nachdem was ich für eine Applikation habe bitte dich eben anderer Tech Deck,

00:12:43: an an.

00:12:44: Das ist mal das eine das andere ist das manchmal auch Rahmenbedingungen gibt Stichwort Cloud und Andy on premise Daten sind manchmal so Anforderungen dass manche Daten des Haus nicht verlassen dürfen aus dem rechtlichen Gründen.

00:12:57: Und ich soll diese diese Heterogenität oder die an die Verschiedenartigkeit mit ganz ganz zentrale Herausforderung die,

00:13:07: eine spiele datenplattformen genau angetreten sind die zu lösen sozusagen und die.

00:13:13: D oder Qualität der Ansätze von Data Warehouse one an die tatsächlich dass man gesagt hat okay es gibt diese vielfältigen Quellen die.

00:13:23: Politiker sich was in eigene Applikation ist mit einem bestimmten Fokus.

00:13:27: Und ich möchte aber in einer übergreifenden Analyse verstehen wie die Dinge zusammenhängen so kann man vielleicht auch noch beschreiben und.

00:13:37: Die Idee oder brasidas Andy Grundprinzip war dann tatsächlich oder des.

00:13:43: Heute die Richtung muss er das ja der Warehouse angetreten ist war dann tatsächlich das mal.

00:13:48: Wird es in die Richtung von so einem Selbstbedienungsladen kommt also wie es der Name schon sagt nur Warehouse also aus allen diesen verschiedenen Quellen sammeln wir alles sein was wir brauchen.

00:13:59: Und packendes letztendlich wieso in eine Art Selbstbedienungsladen wo man dann diese ganzen Informationen schön sauber nebeneinander findet,

00:14:08: am angucken kann wenn dann Beziehung setzen kann integrieren kann und dabei eben Auswertungen machen

00:14:14: kann das war so die Idee am dieses Zettel Warehouse damals angeschrieben hat und wie es auch noch heute antreibt also bist auch mal

00:14:23: 16 farbig zu nehmen das ist was was er nicht früh entstanden ist aber was ist aber heute auch tatsächlich noch gibt darin noch gleich nach dann draufkommen wie viel Arbeit Entwicklungspfad war am.

00:14:33: Baby baden zu was wie wann das technologisch muss man von Data Warehouse da wurden Daten repliziert oder also ich habe meine weiß nicht fünf verschiedenen Systeme im Unternehmen und im im Fahrradladen ich habe noch ein paar andere Sachen dazu

00:14:45: ich biete auch Fahrradreisen an ist ja bekannt und dein Fall ja auch noch mal Daten an natürlich ich habe diese online Mediathek und man sich Fahrrad Videos ausleihen kann um sich zu motivieren wenn man im Winter zu Hause trainieren Muster fallen überall Daten an

00:14:59: und für mein Data-Warehouse hatte ich doch im Prinzip einfach noch mal eine große fette Datenbank.

00:15:06: Und die ganzen anderen datentöpfe da habe ich mir die ganzen Daten abgesaugt habe dir noch mal ein bisschen in der einheitliche Form gepresst und habt ihr dann in diese Data-Warehouse Datenbank rein,

00:15:17: oder also so habe ich das noch im Kopf.

00:15:19: Den Aufsatz ganz gut beschrieben warum hat die Daten tatsächlich.

00:15:22: Am Blitzlicht sich ausgewählte Themen besorgt man sie aussehen Filesystem extrahiert hat sie transformiert dass sie indes 30 Format des hat aber alles passen und hat sie dann

00:15:34: intestaterwerb eingeladen und der Inbegriff die man von damals kennt mal da dazu sogenannte etl

00:15:41: Pipelines gebaut als es auch nicht Daten Strecken die man sich auch nicht vorstellen kann alles sich Visum Abwasserschlauch den man ist wenn System und sagen dran dran steckt.

00:15:53: Am und wo man dann die Daten tatsächlich physisch in die zentrale Infrastruktur rein Rheindamm transportiert so kommen Sie das vorstellen

00:16:02: was wird aber jetzt schon bisschen gestreift haben ist tatsächlich du hast gemeint also rein technisch lag tatsächlich lag oder liegt unter vielen Data-Warehouse ist nicht Datenbanktechnologie Datenbanktechnologie sprich eine relationale,

00:16:16: Datenbanktechnologie am was heißt relationale relational bedeutet dass alle Daten denen Data-Warehouse Leben einen bestimmten,

00:16:25: Schema entsprechen müssen und es Schema ist eigentlich so eine Art Tabellenschema also ne.

00:16:30: Drop column Format das heißt eklige Daten die dort rein können weil die da die da drin sind müssen in diesem Format abgelegt werden sprich sie werden in der Tabelle abgelegt,

00:16:43: bitte Tabelle eine gewisse Anzahl an Spalten jede Spalte hat einen bestimmten Datentyp also die eine Spalte dürfen bei Spielerzahlen rein in die anderen nur nur springen.

00:16:56: Und es ist sagen dass das Format was in der der Warehouse erwartet und diese Anforderungen macht tatsächlich auch nötig,

00:17:04: beim was ich ihn einlade oder beim Beladen eines Data Warehouse ist das Format der Quelldaten,

00:17:11: war sie an dieses Ziel Schema anzupassen das ist der transform Schritt zu sagen und.

00:17:18: Da hatte ich dann tatsächlich auch gezeigt in der Story.

00:17:22: Dass dieser transform Schritt dazu brauche ich letztendlich Menschen die diese Data-Warehouse Technologie verstehen und die die Quelldaten nehmen können und sozusagen übersetzen können.

00:17:33: Ja es ist immer möglich also ich frage mich gerade ist Excel das perfekte Format für alle möglichen Daten die ich irgendwo hab kann ich alles vernünftig irgendwie eine Tabelle reinpacken.

00:17:44: Also immer gültig ist natürlich.

00:17:48: Emma findet sicherlich für die meisten Daten irgendeinen Weg aber so was ich mal die Vielfalt der Daten anschaut die da draußen sind dann ist es oft

00:17:59: wenn überhaupt nur sehr schwer möglich und wenn dann auch nur sehr sehr aufwändig möglich und das war dann letztendlich auch also,

00:18:06: sodann Mehrwert oder der der Wert eines der Toreros ist steigt der tatsächlich mit der Vollständigkeit aller Datenquellen an hätte es natürlich meistens so.

00:18:16: Dass die Anzahl der Datenquellen eben auch ständig steif sprich dass ich bin da was in die Stadt ich muss immer neue Datenquelle integrieren und durch.

00:18:25: Die Tatsache dass dieser Integrationsprozess,

00:18:27: relativ teuer ist weil ich schon beim ihn einladen Dinge transformieren muss weil ich diese vielen verschiedenen Quellen Formate dann so umbauen muss das im Instagram aufpassen.

00:18:39: Ist das was was ich an die gezeigt hat dass gerade in größeren Unternehmen das zu einer hat Bottleneck wurde und dann wird er nicht dazu geführt hat dass eben die Integration von neuen Datenquellen und der daraus einfach so lange dauert

00:18:54: Und wenn da was lange dauert immer wieder zurück zum James Bond Informationen müssen,

00:19:01: Gutschein sie müssen immer frisch sein dann wird das richtig problematisch und ist das 60 fast was ich als Schwäche rausgestellt hat.

00:19:11: Bei diesem Data-Warehouse Plattformen Namen.

00:19:14: Ja mit mir fallen auch noch zwei zwei Dinge ein zum einen es gibt ja sicherlich oftmals mehrere Möglichkeiten wie man solche Daten transformiert je nachdem was von newscaster sich im Kopf ab

00:19:24: da bist sicherlich doch auch mal vorkommen dass man vielleicht zwei Transformation Schafe einmal Quelldaten durchführen muss um unter 2 Zielformat in geh zu bekommen und jedes Mal wenn ich eine neue Idee habe für eine Analyse oder für deine Auswertung,

00:19:38: und die daten jetzt nicht im idealen Format vorliegen habe ich ja wahrscheinlich die Möglichkeit

00:19:44: vielleicht sagen entweder ich mache das jetzt trotzdem die Auswertung aber das Format ist zu ungünstig dass es extrem teuer ist das so lange dauert

00:19:51: oder ich muss Daten noch mal transformieren dann dauert es auch noch mal neu weil ich das noch mal transformieren und reinladen muss eventuell kommt dann ewig das ganze disk space noch rein wenn ich es sehr sehr große Datenmengen haben ich habe dann 2 3 4 5 m Transformationen

00:20:06: dann na ich meine Festplatte ist es nicht mehr so teuer wie es in den Neunzigern aber wenn man es über viele Terabyte was kommt nach Terabyte Dominik.

00:20:15: Gigabyte.

00:20:15: Gigabyte Gigabyte Sporttherapeut.

00:20:18: Petabyte.

00:20:20: Ja ich habe einen links-rechts-schwäche der dominik ist es anders,

00:20:27: aber dann komme ich irgendwann auch mal eingrenzen dass ich vielleicht wenn ich's on-premise habe jetzt in meinem Dreck gar nicht soviel space einfach drin hab's ob ich disk space.

00:20:35: Das ist das eine Thema das was ab was du gerade angesprochen hast.

00:20:41: Ist was behandle ich auch schon schon zieht und leichter kleiner Vorgriff was dann deta-med vielleicht auch ein bisschen anders gedacht ist ist die Tatsache dass

00:20:51: die Menschen die die Daten in dzrs integrieren die müssen tatsächlich unterwegs schon Entscheidungen treffen wie du gemeint hattest,

00:20:58: wie sieht die Daten integrieren also es gibt da da auch nicht immer den einen Weg sondern Kandidaten so oder so ablegen und die Menschen die dich dann integrieren sind ja

00:21:09: nicht die Menschen aus den Teams die die Daten erzeugen spricht die tatsächliche Domain knowledge also dass domänenwissen über die Daten selber.

00:21:19: Bei dem Menschen unmittelbar am vorhanden und da war es auch zu dass die eben Runden drehen mit den Daten Erzeugern.

00:21:26: Was sie dir eine Richtung das andere ist dass sie aber auch schon im Kopf haben müssen wie man denn die diese Daten möglicherweise aus werden möchtest auch schon gemeint auch da.

00:21:37: Wenn ich bei dir verschiedene auswerte Zwecke habe können wir auch unterschiedliche ablagearten und schläft gut geeignet sein und von dem her.

00:21:44: Ja

00:21:46: Sitzen da die Daten Menschen zu sagen in in der Mitte und müssen in beide Richtungen auf sowie eine Glaskugel gucken und müssen sich weil sie von der Datenquelle Seite,

00:21:58: Nation zeig mal bisschen zusammenreimen was die Daten dann wohl bedeuten und.

00:22:03: Mit der auswerte Seite müssen sie so bisschen nach auch in die Glaskugel gucken welche Auswertungen möchten dann andere Menschen wohl mit diesem Daten machen und das

00:22:14: diese Faktoren am sind einfach Dinge die diese Art zentrale Datenplattform stückweit man einfach schwierig schwieriger machen.

00:22:23: Ja sind verdammt viele Glaskugeln dafür dass du es ja eigentlich so der Datenschutz ist und ich glaube wenn man darüber nachdenkt da kommen ja noch viel mehr Punkte also

00:22:32: eventuell ist es notwendig Personal Transformation auch in die vielleicht daten zu aggregieren also wenn ich jetzt extrem viele Daten habe also in welche Zeit rein oder so mit nextreme ohne Auflösung

00:22:44: dann möchte ich die vielleicht aggregieren dann gehe ich aber in Rundungsfehler rein und je nachdem was ich damit machen möchte ist der vielleicht total egal

00:22:52: oder eher zerstörten halt komplett meinen Ergebnis weil du weißt ja viel besser als ich wenn du es irgendwie in der sechsten Nachkommastelle vielleicht ein Rundungsfehler hast je nachdem was du machst

00:23:01: hat er eventuell eine riesengroße Auswirkung irgendwann mal und am schlimmsten ist es natürlich wenn die Person die die Auswertung macht

00:23:08: gar keine Ahnung hat dass da vielleicht irgendwas verändert wurde irgendwas aggregiert wurde und sich dann fragt ja wow was ist denn jetzt hier los,

00:23:16: ich habe da neulich erst mal ein Artikel gelesen über was ich Edward Norton Lorenz den

00:23:22: Begründer in Anführungszeichen mit der Chaostheorie der desto wetterforschung gemacht und es wird mit zur Wetterdaten geforscht

00:23:27: und hatte ja genau sowas hat sie eine riesen Rechnung gehabt und diesen alten Rechenmaschine die so langsam liefen und dann wollte noch mal was nachrechnen und dann dachte auch ich neben Zwischenergebnis soll mir ausgedruckt mit

00:23:39: weiß nicht 56 Nachkommastellen wo du es ausgedruckt hattest eingetippt und dann kam was komplett anderes raus und es war halt wegen dieser winzig winzig klein Abweichung.

00:23:48: Das hast du gerade beschreibst deinem Anfang gemeint,

00:23:51: Daten ihre Geheimnisse in Anführungszeichen nicht ganz so leicht preisgeben was sogar beschreibst ist genau ein Beispiel davon

00:24:00: es reicht noch lange nicht mehr weniger einfach nur alles hinter der was rein zu packen und dann ist alles klar sondern es kommt wirklich darauf an auch

00:24:09: Beamer die daten ablegt Stichwort Format.

00:24:12: Ich mag regiert am um letztendlich auch zu dem richtigen Schluss zu kommen und das ist eben nicht ganz einfach oder war das der der Warehouse sozusagen der erste der ersten Schritte in diese Richtung.

00:24:25: Das ist ein richtig gemacht hat aber wo ist danach auch noch Weiterentwicklungen gab.

00:24:30: Okay aber wie ging es dann weiter man hat festgestellt hey wir brauchen so eine Plattform um so inhomogene Datenquellen irgendwie so zu integrieren damit man homogen Blick drauf haben damit wir da Auswertungen durchführen können okay

00:24:43: dann hat man das Data Warehouse Konzept gehabt hat festgestellt das hat viele Vorteile aber auch ein paar Nachteile und wir müssen dran was verändern um diese Nachteile entweder zu entfernen oder zumindest bei zu reduzieren,

00:24:55: was war denn dann der nächste Schritt.

00:24:57: Der nächste Schritt oder was das Ganze so bisschen begleitet oder auch die Beute angetrieben hat war dann das die.

00:25:04: Die Menge der Daten immer größer wurde die anzahl der Datenquellen immer größer wurde und dann das was ich dich vor oder was wird Big Data aufgetaucht.

00:25:13: Ja

00:25:13: Ist schon mal alle schon mal gehört und.

00:25:17: Auch das Paradigma oder das Muster des decedata legst und wenn man.

00:25:24: Im gesehen das gleiche beim Wetter Warehouse der teure Teil in Anführungszeichen schon relativ weit vorne ist also schon wenn ich Daten Internet heraus lade muss ich ihr transformieren das ist teuer.

00:25:35: Deswegen ist es langsam an deswegen Hemd des die Entstehung eines vollständigen der der Warehouse ist und es ist eine das andere ist dass das eben ja schon erwähnt.

00:25:48: Oft liegt eben unter anderem Data-Warehouse mit Datenbanktechnologie und mit Datenbanktechnologie ist die nachdem immer sie nutzt was was noch bezahlen muss und die Kosten werden auf,

00:26:00: hör mit der Datenmenge die ich dort rein stecke.

00:26:04: Ja du kriegst auch manchmal Probleme wenn du eskalieren möchtest also ich weiß nicht wie es heute ist aber ich weiß noch früher was hier sehr schwierig wenn du in relationale Datenbank hattest und die skalieren wolltest über mehrere Maschinen

00:26:15: da musste man sich dann überlegen partitioniere ich die Daten jetzt irgendwie das hat vielleicht auch eine impact auf die Art der Auswertungen Anfragen GT durchführen möchtest also triviales das ja nicht.

00:26:24: Glaubt es nicht so real und alles was nicht so vialis tendiert auch dazu teuer zu sein letztendlich unter 1 1.

00:26:34: Trend der da sie direkt auf eingezahlt hat oder eben der Big Data drinnen wo sich

00:26:40: Anfang der 2000er Jahre so ein Open Source Big Data Ökosystem aufgebaut hat angefangen 2006 mit dem Schirm von von Hadoop

00:26:49: am Donnerstag gemerkt hat auch mit dem Wachstum des maps dass da so große Datenmengen entstehen.

00:26:56: Dass ich die mit den Anita Fischen datenbanktechnologien an mich kaum noch handeln kann

00:27:01: und die devarim dort mit ein verteilten Systemen die auf relativ tierfreundlicher Standard Hardware gelaufen sind eben in der Lage zu sein sehr große Datenmengen Rally kostengünstig am zu verarbeiten

00:27:16: Zimmermann spiele großer du Plattformen entstanden und was.

00:27:23: Dann eigentlich Hauptunterschied warenvergleich für ein Data Warehouse ist war dass man sich dass die Anforderungen die so ein Data lake System oder data Lake Ansatz.

00:27:35: Kandidaten stellt die dort rein sollen die sind deutlich kleiner sozusagen also wenn mal.

00:27:41: Freunde sehen in der der Warehouse können nur Daten in der relationalen Form rein alles was wir trampeln muss ich eben in die Seele zu lange Form bringen,

00:27:50: bei einem data Lake ist es wirklich anders als immer sie mal zum Peter like anguckst Unterdrucksystem ist es ja ist eine ganz zentrale Komponente einfach ein großes verteiltes Dateisystem.

00:28:01: Wo ich erstmal ganz beliebige das Heim einfach reinstecken.

00:28:06: KanAm ohne in irgendeiner Form drauf achten zu müssen dass diese Dateien diese Daten irgendein Format passiert sprechen sprich es ist deutlich Ich muss in diesem.

00:28:19: Ersten Schritt wenn ich die Daten aus dem Quellsystem überhaupt in das zentrale data Lake System rein bringe.

00:28:27: Muss ich erstmal nach dem Streichen weniger tun weil ich einfach die Daten erstmal genauso in ihrem Ursprungsformat dann genauso wie sie sind in den data Lake einspeisen kann weil er einfach.

00:28:41: Weil keine besonderen Anforderungen stellt in Anführungszeichen und nicht ganz verschiedene Formate hat er das was einpacken kann z.b. auch.

00:28:49: Sehr große JSON Dateien sehr große XML Dateien am.

00:28:54: Aus einfach dies die hat Möglichkeit der datenanlieferung ist sich ein bisschen einfach oder Stelle weniger Anforderungen das ist eine.

00:29:05: Und das andere ist das ja so verteilte System wieso Einzug Cluster.

00:29:10: Einerseits in Dateisystem mitbringt aber auch eine verteilte Pause sind Entchen wo ich eben sehr große Datenmengen grüß verteiltes processing auch sehr schnell verarbeiten kann.

00:29:23: Und am letzten Jahren auch einige bei einigen Kunden auch diese Art älter Leitsysteme aufgebaut.

00:29:32: Und in Reli typisches Setup es heute dank getroffen haben war.

00:29:39: Dass die Kunden natürlich schon Datensysteme hatten sie hat uns was bestanden Data Warehouse und sie kamen auch zu unserem gemeint ja wir würden gerne Analysen machen über unsere Verkäufe der letzten Jahre,

00:29:51: aber aktuell haben wir nur das letzte Jahr in der der Warehouse weil alles andere ist uns zu teuer,

00:29:59: und was wir dann zuerst aufgemacht haben ist wir haben die Story dann gefällt waren das abgelegt war haben wir erstmal.

00:30:08: Mit der Talente eingepackt und haben dann in diesen Pedelec Systemen auf diese langjährigen Archive aufgebaut

00:30:17: Alexandra Lift günstig war und wenn man.mit dem Pause singen Werkzeugen die hat eben bietet sich was heißt mittlerweile Spike und Co daneben effizient mit verschiedenen,

00:30:28: dann Formaten arbeiten konnte.

00:30:30: Okay lass mich lass mir das mal noch ganz kurz zusammenfassen,

00:30:34: ich glaube was in data warehouse ist ich glaube es aber gut umrissen werden diese große Datenbank gitarrenmann transformiert reingeschrieben ich habe meine Tabellen nicht macht irgendwelche Anfragen Analyse Netcetera okay Haken dran,

00:30:47: data Lake ist erstmal ein verteiltes Dateisystem also es heißt ich habe eine gewisse Anzahl von Maschinen von Servern die haben alle irgendwie disk space drin,

00:30:58: und ich kann einfach mal im gewissen gewisse Menge von dieser Festplattenkapazität oder falls ist auch SSD heute keine Ahnung von dieser und dieser hart ist einfach

00:31:08: gemeinsam ansprechen verteiltes Dateisystem und das System sorgt dafür dass ich mich nicht drum kümmern muss auf muss auf welchem Server liegt irgendwas.

00:31:15: Okay also im Prinzip ähnlich ähnliche Technologie die waren jetzt auch in der Cloud z.b. verwendet wenn man da jetzt beliebig viel Festplattenplatz Uni anbieten.

00:31:25: Okay,

00:31:26: da packe ich meine ganzen Informationen drauf Datenbank Dump z.b. also kann ich es sagen ich habe eine große Oracle-Datenbank dass sie meine vertriebsdaten drin und ich habe die jetzt auch keine Ahnung

00:31:37: Partitionierung nach Jahrzehnt oder nachher um daraus so hot cold das alles ein bisschen zu unterscheiden damit ihr auch Geld sparen kann ich exportiert es als als SQL-Dump oder als JSON oder als irgendwas anderes

00:31:50: Pack das hier auf die verteilte Festplatte drauf habe noch andere Dokumente etc E-Mail-Archiv etc pack das alles auf diese verteilte fest.

00:31:58: Und was hat du und Konsorten jetzt mitbringen,

00:32:01: wir sind doch im Prinzip dann zu ist und Framework für so verteilte Algorithmen oder dass ich so divide-and-conquer mäßig sagen kann okay schau mal die Daten haben dieses Format.

00:32:12: SQL-Dump z.b.

00:32:14: Da stehen folgende Sachen drehen du kannst dieses Feld hier als String interpretieren das hier als Double dass sie als interchar zra

00:32:22: und jetzt mach mir mal bitte folgende Auswertung und dass das programmierst du letztendlich oder dann in Spark in HD,

00:32:29: und wie wie die ganzen Systeme dann heißen.

00:32:32: Genau das kann ich ganz gut beschrieben was anderes hast Du getan ist Dateisystem wo die Daten liegen und du hast ein Vorteil des processing.

00:32:40: Und das bisschen eine.

00:32:42: Hunde.de Thema Du mitgebracht hat war bereits was über diese sehr große Datenmenge eine Ausbildung machen möchte also März wieder bei dem Fahrrad bei euch zu bleiben und immer an unsere Fahrradfirma gibt schon seit,

00:32:56: 10 Jahren und ich habe,

00:32:57: alles was wir so an Daten haben dort rein gepackt möchten Auswertung machen über die letzten 10 Jahre wie sich so die hatte Fahrradverkauf entwickelt hat

00:33:07: dann würde ich ein kleines Stückchen gut schreiben oder eine Art Abfrage Schreiben des Kanten

00:33:13: kleines Programm sein in Spike in Python das kann der Bauch SQL sein

00:33:19: und des fremberg würde sich darum kümmern dass dieses Programm wenn weniger für mich transparent weiß ich verteilt wird.

00:33:28: Die Grundidee bei du bist so ein bisschen das mal den Code zu den Daten bringt weil,

00:33:34: Daten am immer so eine gewisse Schwerkraft wenn ich große Datenmengen von A nach B schieben möchte weiß sie da auch wenn man eine sehr große Fotosammlung Backup gemacht hat da die.

00:33:47: Daten kopieren Daten transportieren in großem Schild dauert einfach an weil ich ja nicht weiß Maus zu verteilen Programmierung und so die Idee von der Dude war das man.

00:33:55: Tatsächlich er den Code zu den Daten

00:33:59: bringt und das machen die Framework Sabbath sichtlich unter der Haube spricht man schreibt ein kleiner Stich Analyse Code und es brennt wer kümmert sich darum dass der verteilt wird

00:34:07: dass er verteilt ausgewertet wird und dass dir gebnisse eben nachher wieder entsprechend zusammengefaßt werden und mir eine präsentiert werden so kann man vielleicht was ist am Fasten ab.

00:34:17: Und ich sehe das schon großen Vorteil im Vergleich zum klassischen Data-Warehouse dann beim Data-Warehouse ist hast du da auch gesagt muss ich diesen Transformation Schritt

00:34:26: immer durchführen egal ob du jetzt wirklich

00:34:29: in Anführungszeichen sinnvoll ist oder ob diese Daten oft verwendet werden oder nicht und wenn ich jetzt zu diesen Hadoop Ansatz habe dann oder diesen Big Data Ansatz

00:34:38: und ich möchte heute die Auswertung von meinem Geschäftszahlen der letzten 25 Jahre haben dann wird es einmal durchgeführte mich diese Auswertung nie wieder haben möchte dann wird doch nie wieder ausgeführt.

00:34:50: Das richtig also DM Reich sagen dass mehr was wir in der DDR ausfällt sozusagen vielleicht Dinge vorher tun musste du schon sagtest dir mal nachher was entweder gar nicht braucht.

00:35:02: Oder die ich einfach im Nachhinein richtig in der Big Data Welt einfach im Nachhinein ein bisschen.

00:35:12: Seid ihr für 10 $ nicht besser oder wir haben bisschen.

00:35:18: Ich sitz mal sagen variabler tun kann dann sag mal so also die Gabi auch

00:35:24: diese beiden Begriffe man Riot das ist Ski maori-tattoo sagen also.

00:35:30: Data Warehouse hat das Prinzip Screamer Onride sprich wenn ich die Daten Internet über schreibe dann muss ich dort schon genau wissen welches Schema Kandidaten spricht welche

00:35:41: Bilder kommen davor Mischtypen haben diese Felder das muss ich schon beim Schreiben wissen das ist da ist das Schreiben sozusagen bisschen teurer während.

00:35:51: In der Big Data Welt an der bei dem was ist Klima und read Ansatz aber ich auf die Möglichkeit,

00:35:58: das vorhin hatten die Daten erstmal rein zu laden und dann erst wenn ich die datenlese sozusagen des Schema drüber zu legen,

00:36:07: und dadurch bin ich natürlich deutlich flexibler wenn ich z.b. mal was ändert das dann auch zuerst beim Lesen tun zu können sozusagen.

00:36:17: Ja wenn neue Daten hinzukommen hast du ja keine Aufwand außer dass du die Daten kopieren musst

00:36:22: weil es ist ja völlig egal ob das jeden Tag Daten dazu kommen die packst du halt einfach auf dieses verteilte Dateisysteme achtet drauf dass er genug Platz ist und erzählt

00:36:31: und beim Data-Warehouse musst du ja immer diese Transformationsarbeit machen und du brauchst immer deinen data engineer mit seinen zwei Kristallkugeln der dann immer entscheidet oh was mache ich denn

00:36:41: und bei bei dieser Big Data Lösung da hats halt keine Ahnung deine Analysten und die kümmert sich darum und zwar zu dem Zeitpunkt wo es notwendig ist.

00:36:49: Stell das richtig also bei der bei der Glaskugel willst für dich mal halt zustimmen da kann man gleich dazu aber aber ganz grundsätzlich ist das genau einer der der anbei die Vorteile von der Pizza der Welt am.

00:37:02: Dass ich eben aufs Neuwagenpreis flexibel auch nicht erklären kann.

00:37:09: Warum stimmst Du mir nur 1:30 Uhr mit dem Kristallkugel data engineer.

00:37:13: Genau also,

00:37:15: vielleicht bei der kurz zu erklären also natürlich warum gesagt bei dem Wetter raus hat mal jemand der etwas in der Mitte sitzt und dann bei dir Richtung gucken muss das ist aber dafür ein bisschen stärker ausgeprägt.

00:37:29: In seiner Internetplattform ist Alex soll sie gezeigt hat also das ist Open Source dictator Ökosystem ist ein sehr mächtiges,

00:37:39: da kann man sehr viel erreichen es ist allerdings die man sich vorstellen kann auch Relief komplex und um,

00:37:46: weil sie diese Art um mit sonnauer der Telepath vom arbeiten zu können.

00:37:51: Es hat sich auch über die Zeit gebessert aber musste man doch ein gewisses Z dann technischen Skills mitbringen und spricht die.

00:38:00: Menschen die dann die Daten in so einer bitte etwas vor aufbereitet haben die hatten teilweise also.

00:38:09: Sei mal andersrum aufzuziehen damals gesagt ist es einerseits.

00:38:15: Sehr viel leichter die Daten ins Unwetter leg platform reinzubringen wenn man sehr weil die gesagt ist erst mal einfach rein kippen kann Anführungszeichen ohne größeres Zutun der Punkt ist natürlich das.

00:38:30: Wenn ich wirklich aus mit den Daten was machen möchte schon weil sie zu einem gewissen Zeitpunkt Daten schon aufbereiten möchte.

00:38:39: Weil an diesem Zeitpunkt möchte ich einfach wissen ja was steckt dir nicht wirklich in den Daten drin also wenn man sich jetzt vorstellt ich bekomme z.b.

00:38:49: Eine große Menge XML-Files angeliefert wo es ein bestimmtes Attribut gibt dann.

00:38:57: Dann zu einem gewissen Zeitpunkt möchtet ist dieses ein Attribut extrahieren und dann vielleicht weiß in verschiedenen Schichten aufbereiten und.

00:39:08: Dieser Prozess an der Stelle also quasi bei der Datenaufbereitung die ein Data engineer macht.

00:39:18: Muss er letztendlich auch bisschen in die Richtung des Bundespräsidenten Lüsten gucken.

00:39:25: Und hat damalige ein Auge in Richtung Glaskugel wieder die Daten wohl auswertet das ist das eine und.

00:39:34: Das andere ist das also wenn man die Rohdaten dann in so einer Big Data platform aufbereitet.

00:39:41: Am an der Stelle wird dann schon auch interessant wie denn die daten inhaltlich von der Quelle zu einig interpretieren sind.

00:39:49: Und von dem her ist es ein bisschen abgeschwächt aber die Tatsache dass der data engineer oder der Mandaten Aufbereiter noch bisschen in der Mitte sitzt das ist nicht ganz weg ist bisschen abgeschwächt weil.

00:40:04: Einen vom Ansatz her an der Analyst auf direkt auf den auf die Daten zugreifen.

00:40:10: Aber es hat sich schon auch gezeigt wenn ich in itunes Erfahrung.

00:40:15: Das natürlich viele Analysten auch froh sind wenn sie ein bisschen Unterstützung bekommen und nicht auf die ganz nackten.

00:40:23: Und nicht auf den ganzen nackten Rohdaten endloszeichen arbeiten müssen weil.

00:40:29: Da vielleicht noch so ein kleiner ganz junges also auch aus unserer eigenen Erfahrungen, auch wieder zu dem. Daten gegen ihr Geheimnis nicht ganz so schnell Preis also.

00:40:41: Die.

00:40:42: Welches Thema aus denen die Daten kommen die sind natürlich auch nicht perfekt und was wirklich glaubt jeder Mensch der schon waren größer rumstehen mit Daten gearbeitet hat man schon mal gemerkt hat ist das einfach Daten.

00:40:56: Mich immer in der saubersten perfekten Form ankommen also.

00:41:02: Weiß jeder wir haben auch schon verschiedenste Datenlieferungen bekommen die heute anders aussehen als gestern da sind Spalten vertauscht plötzlich,

00:41:13: cinemachine coding errors drin und spricht die,

00:41:17: dieses ursprüngliche hat man da der ursprüngliche bereits oder des Mehrwertsteuer auf dem Anfang auch angepriesen wurde in der Beginner Welt legt einfach rein und dann kannst du damit arbeiten.

00:41:31: Der in dieser Klarheit erfüllt er sich nicht weil ich natürlich die Daten schon ein Stück weit aufbereiten möchte und in nutzbare Form bringen möchte.

00:41:39: Okay das heißt zu dieser dieser reine Ansatz oder diese ursprüngliche Ansatz der hat halt diesen Realitätscheck nicht bestanden.

00:41:46: Dass die Daten der Realität die sind halt nicht perfekt ich meine wir haben nur noch normaler Weise nie eine grüne Wiese auf der Wii neue Projekte hinstellen sondern wir haben immer schon irgendwelche alten oder im Micha Legacy-Systeme da irgendwie ne

00:41:59: naja in der Umgebung in die Wand integrieren müssen.

00:42:01: Und das stimmte dann halt auch für die Daten für allem bei diesem Ansatz wo es zu viele Systeme haben wir zu vielen Daten ja klar

00:42:09: dann brauchst du vielleicht schon derart Gatekeeper

00:42:12: der der am bisschen drauf schaut und und mal sorgen auch einen grundsätzlichen Qualitätscheck Macht von den ganzen Daten da sonst wird ja auch der data Lake komplett vollgemüllt irgendwie.

00:42:22: Und das ist natürlich auch was wo wir ein bisschen Rückblicken auf die datenplattformen und die will in diesem Geiste aufgebaut haben

00:42:31: was für das rechtlich auch beobachtet haben das als dass ihm so leicht ist Daten einzubringen ist das rechtlich so dass wir auch mal beobachtet haben,

00:42:41: Mainzer Kunden dass es dann auch wirklich Datenbereiche gibt um die sich nicht so gut gekümmert wird weil da hat in Anführungszeichen mal irgendein Team Daten abgelegt.

00:42:53: Mathe nicht groß werde aufbereitet und eigentlich weiß keiner so genau was diese Daten bedeuten und.

00:43:00: An der Stelle, vielleicht zu seinem allgemeinen. Um halt aus Daten Mehrwert zu generieren reichen oft nicht,

00:43:08: die Daten selbst sondern ich brauche noch irgend eine Form von von Kontext dass ich muss

00:43:12: eine Form von Einordnung um eben mit den Daten etwas tun zu können und ohne des Witzleben auf natürlich in seinem Bett alle Quad fahren in den Zoo anderthalb Plattform schwierig.

00:43:26: Okay aber dann dann haben wir diesen data lake,

00:43:29: Thyssen diesen Ansatz dieses Konzept es gibt aber noch mehr als der data Lake CD selectus gesagt 2006 kam kam hat Opa übrigens an der Stelle noch eine ganz coole Sache hat wurde ja entwickelt ich bin ich von indoor-karting,

00:43:44: und da cutting hat nicht nur Hadoop entwickelt was mega eingeschlagen ist dark Cutting hat auch Erlus Tina Zwickel mit dem habe ich früher viel gearbeitet

00:43:53: also hat zu die führende Suchtechnologie in der Java Welt entwickelt und die schönen der Big Data Technologie ja cooler Typ.

00:44:03: Das sind ja verschieden.

00:44:05: Ein geiles framewerk ist nicht genug

00:44:10: dominik was mich jetzt interessieren würde haben wir jetzt im data Lake so mit unserem kleinen Schiffchen mal die ganzen Ecken abgefahren gibt's da jetzt noch weiße Flecken oder passt das so übersetzt besprochen haben.

00:44:21: Was sind die wichtigsten Punkte haben wir jetzt gemacht gehabt also genau Grundidee war ja es ist leichter Dinge rein zu packen bietet Set an Werkzeugen zur

00:44:32: einfach in Auswertungen an um auch recht schnell auf großen Datenmengen arbeiten kann.

00:44:39: Und damit so glaube ich die Haupt die Hauptunterschiede zu data warehouse ausgearbeitet war das mit Simon glaube ich ganz gut durchgekommen ne.

00:44:49: Ok arm wir haben jetzt das Data Warehouse besprochen werden in data Lake besprochen und jeder weiß alle guten Dinge sind drei und natürlich gab es auch schon zum kleinen Teaser bei uns im Titel von dieser Folge wir möchten heute ja noch über ein anderes Konzept sprechen das ebenfalls mit data beginnt und mit Mesh endet

00:45:07: und zwar das Thema data Mesh Dominik wie kommen wir denn vom data Lake zum datamash wie ist denn da die ja

00:45:16: die Route die wir einschlagen ist um dorthin zu kommen.

00:45:18: Hinter also der,

00:45:20: Data Menschen sind immer an Konzepten Paradigma des uns auch gerade total begeistert an was mehreren Gründen,

00:45:30: das hat er die spannende am data Menschen werden gleich mal bisschen in die Grundzüge kommen was es eigentlich ist.

00:45:36: Dann ist das jetzt tatsächlich eine neue Art ist über,

00:45:43: daten zu denken und das war 60 Brücken schlägt Dima,

00:45:48: in den bisherigen Einsätzen noch nicht so stark geschlagen hat und was sie damals vielleicht noch kurz ein bisschen Leuten würde es bisher mal nicht viel über das der Tauber ausgesprochen über den data Lake gesprochen und wenn man nicht viel.

00:46:02: War alles in der nicht alles dann Plattformen wo es um analytische Daten geht sprich da lade ich immer Daten rein mit dem Zweck diese Daten auszuwerten.

00:46:13: Um daraus Informationen zu gewinnen um wieder zurück zum tennispoint zu kommen um mehr zu wissen länger zu leben Mann bist das besser machen zu können spricht es war der war der Fokus auf den analytischen Daten.

00:46:25: Dann dabei unterwegs immer so bisschen gestreift wurde diese Daten herkommen diese Daten kommen immer aus Quellsysteme und diese Quellsysteme, sie den meisten Fällen vorstellen als Applikationen

00:46:38: Die von software engineers gebaut werden natürlich vielleicht in unserem Beispiel von der Fahrradfirma gibt's software engineers

00:46:46: dir eine Operation bauen mit der man sich Fahrräder konfigurieren kann am,

00:46:51: und er muss so ein RT Kationen baut braucht diese Applikation natürlich auch,

00:46:57: Daten wenn du mich zum Beispiel anmelde dann muss diese Applikation meine Nutzerdaten irgendwo ablegen muss meine fahrrad Konfiguration irgendwo ablegen und diese

00:47:09: hat der Datenwelt mit der man sich üblicherweise in der Applikationsentwicklung beschäftigt.

00:47:15: Haben sie nicht so Krankenstandstag zu neuen Taten also das sind sozusagen die

00:47:20: Daten die ich brauche um meine Anwendung dem Nutzer entsprechend zur Verfügung zu stellen entspricht

00:47:28: nicht Anwendung Entwickler und fahre zu konfigurieren dann sind die transaktionalen Daten B die Teile die ich dazu konfigurieren kann eben meine Nutzerdaten bei der Anmeldung des sind die Daten mit denen der Softwareentwickler arbeitet

00:47:43: der hat die Applikation selbst baut dann sozusagen und in den,

00:47:50: und die bisherigen Ansätzen hat man quasi so eine Zweiteilung der Datenwelt also während diese Quellsysteme mit den transaktionalen Daten,

00:47:59: die natürlich für die Applikationen wichtig sind aber auch für die Auswertung ich möchte natürlich auch historisch.

00:48:06: Die transaktionalen Daten im anderen Format aller Voraussicht nach auch haben sozusagen und der

00:48:15: weg wie diese beiden datentöpfe bisher miteinander in Beziehung gesetzt worden ist aber gesehen waren letztendlich Daten Pipelines spricht ich habe bisschen.

00:48:24: Ein Spiel ist dem angezapft habe dort die Daten raus kopiert.

00:48:28: Am und habe die in die in mein analytisches Auswertesystem rein gepackt haben sozusagen hat also diese transaktionale Daten wild auf der ehemaligen Seite auf der Applikation Seite.

00:48:41: Die analytische Datenwelt auf der rechten Seite und dazwischen hat man sie endlich wieso Daten Pipelines am sozusagen.

00:48:51: Und das spannende oder der neue Gedanke beim,

00:48:59: vandetta Mensch ist eigentlich das mal genau diese beiden Welten endlich im bisschen näher zusammenbringt und.

00:49:11: Harry wie kann ich mir das jetzt vorstellen bei wenn ich das Beispiel von unserem Fahrradladen habe ich habe da brutal viele Daten weil wir sind ja nicht nur einfach so das Fahrradgeschäft um die Ecke.

00:49:22: Sondern wir sind ja einfach das coole Fahrradgeschäft dass du richtig richtig richtig großen Business ist

00:49:28: wir haben relativ vielen transaktionale Daten die fallen vor allem in der Interaktion mit unseren Kunden jeden Tag ein Interaktion mit dem Webshop

00:49:36: Interaktion mit diesem roten Beete roten Plattform die wir haben Interaktion mit unsere Fahrrad movie Streaming Dienste cetera,

00:49:44: da fällt jeden Tag richtig viel an solchen transaktionalen Daten ab das ist für dieses Jahr eine Welt die du beschreibst und die andere Welt

00:49:51: die die ist bei uns im Prinzip im Unternehmen oder wenn wir uns mit den Daten beschäftigen wenn da vielleicht neue Derivate irgendwie Entstehen von irgendwelchen Daten,

00:50:00: das ist sowohl die zweite Welt janfeld soweit kann ich mir das vorstellen wie kann ich denn die jetzt näher aneinander bringen.

00:50:08: Ja das ist das hat er nicht auch ganz gut Katrin vorgestellt also weiß in der Welt bisher als Beispiel ein Team das dem Fahrrad Konfigurator,

00:50:17: tja bisschen wickelt sozusagen und dabei was behandelt sie eine Menge an transaktionale Daten.

00:50:25: Am und da oder eine historisch war da vielleicht so ein Gesicht das validis diese transaktional Daten dass sie auch für die Analyse hilfreich sind das ist aber doch schon länger klar aus der Sicht.

00:50:39: Der war die Softwareentwickler die die Applikation bauen

00:50:43: wartest aber nie tatsächlich im Zentrum also es gibt da immer diesen diesen Begriff des Daten entsorgen also die die transaktionalen Daten sind für ein Applikationsentwickler eigentlich genau dafür hilfreich

00:50:57: Der Nutzer.

00:50:59: In genau der Situation jetzt am besten zu unterstützen und der Operation ist am wenn ich dann erfolgreich wenn der Nutzer in diesem Moment glücklich ist das ist eigentlich.

00:51:09: Meiner Brille sozusagen dass man eine Applikation gut funktioniert das natürlich die Daten die dabei entstehen.

00:51:18: Füreinander Zeit wichtig sind,

00:51:21: Martin ist bisher nicht so stark im Fokus von den Teams die diese Anwendungen entwickeln das war immer so was okay da fallen Daten ab

00:51:30: gibt ein anderes Team of War dass das biei Team des möchte diesen Daten haben

00:51:36: am stell dir den mal irgendwie zur Verfügung die können diese sich vielleicht am selbst abholen oder ich lege dir den irgendwo hin.

00:51:44: Aber das war der 60er so und so ein Nebenprodukt sozusagen würde sich andere interessiert haben aber so der Kern Focus 1 Applikationsentwickler.

00:51:55: Am 760 die transaktionale Daten und ist bauen von einer guten Anwendung was er auch total Sinn macht und einig.

00:52:04: Der Kunde den also wenn man sich in die offizielle oder eine Definition von Data Mash mal einliest ist es in socio-technical approach und das heißt.

00:52:18: Bild von dem Bett MS Paradigma ist hc60 in neuer Ansatz über diese beiden Welten nachzudenken und.

00:52:28: Ein anderes Wort immer eben gesehen,

00:52:31: wenn man in dieser diesen Taten entsorgungs Ansatz unterwegs ist gibt's auf der anderen Seite,

00:52:39: nämlich auf der data analyst and Seite oder auf der détention ist hatte jemand der diese Entsorgung sozusagen vornehmen muss spricht der nimmt die Daten an.

00:52:47: Und am musst dann die Daten aufbereiten.

00:52:51: Muss ich vielleicht die Bedeutung der Daten? Zusammenreimen also welches Feld bedeutet wohl was wenn ich vielleicht verschiedene Felder auswähle.

00:53:03: Finde weitere Aufbereitung welches wähle ich aus das ist einfach.

00:53:10: Dann machen zu zahlen Menschen die Datenaufbereitung die die Daten selbst gar nicht fabriziert haben und das ist er heimlich sondern ein Widerspruch weil die Menschen die die Daten am besten kennen sind wir aller Voraussicht nach,

00:53:23: die Operation sind dickler die nämlich genau das System gebaut haben dass diese Daten auf das sächlich erzeugt.

00:53:30: Und die Idee oder.

00:53:34: Grundansatz oder warum die auch die Ideen Dessert Damisch so so spannend finden ist tatsächlich das.

00:53:43: Am besten das weiß ich die Daten die man für die Analyse braucht.

00:53:49: Stärker ins Interesse der Teams Rücken die die Applikationen entwickeln.

00:53:57: Die diese Daten erzeugen um daneben weiße diesen Segestes aufzulösen und das letztlich in der Mitte jemand sitzt der dann die Daten aufbereiten muss sich Anführungszeichen zusammenreißen muss was die Daten holen.

00:54:11: Wo bedeuten da std sozusagen immer sich vorher vorgestellt hat diese beiden Daten Welten weil sie transaktional der linken Seite und Analyse auf der rechten Seite sind nebeneinander da ist das Bild dass man diese beiden,

00:54:25: Data Planes übereinander legt und.

00:54:31: Dafür sorgt dass die Teams die in gewissen Service entwickeln einerseits die Applikation natürlich nach wie vor im Blick haben.

00:54:41: Aber auch die analytischen Daten als indirekten Mehrwert,

00:54:46: Iris Services begreifen und diese Daten auch mit sich als dein Produkt und dann auch gleich zu den Grundprinzipien ist er damit zur Verfügung stellen und das ist tatsächlich das weiß ich selber,

00:54:59: so ist ja spannend findet das tatsächlich.

00:55:01: In da zwei sind die Bereiche in ein Zusammenwachsen man kann sich durch zu bisschen vorstellen wie das Entstehen von der DVS Bewegung also.

00:55:12: Da musste ich gerade dran denken genau da musste ich gerade dran denken Dominik.

00:55:16: Genau das passt ja in dem Sinne zusammen dass wir

00:55:21: das einzige Zeichen früher wird es mal so sagt aber in Anwendung entwickelt haben das war das Dev-Team aber der Anwendung fertig und hat man diese Anwendung

00:55:30: anders obszön übergeben hat sie sozusagen über den Zaun geworfen hat Dokumentationen geschrieben.

00:55:37: Und dann gehofft dass das Operationsteam mit einer Anwendung die ist selber gar nicht kennt gut möglich gut klarkommt.

00:55:45: Das hat nicht so gut funktioniert also ich dich kennen sowas ja auch noch von früher ich war in den Teams in den Saft entwickelt wurde und wenn dann die Kolleginnen und Kollegen aus dem aus dem operations Team das dann betreiben muss er klar.

00:55:58: Wenn irgendwas was ganz Normales nicht funktioniert hat wenn es von Server Schluckauf hat dann kommt ihr das schon immer relativ schnell beheben aber wenn irgendwo einen Fehler Loch drin stand oh Fehler XY yaku die hatten keine Ahnung woher auch.

00:56:13: Das ist eben genau der Punkt also und wenn man in der Box Beispiel sozusagen die anwendung über den Zaun geworfen hat in Richtung operations dann ist der aktuelle Zustand

00:56:26: tatsächlich, vielleicht so formulieren dass man nicht die anwendung über den Zaun wirft sondern die andere löschen Daten also die Menschen die in service entwickeln,

00:56:35: die sagen okay garminservice.de vom Summer gelernt mittlerweile Verdi bildet juranet mach mal selber im Glück sozusagen.

00:56:45: Aber die analytischen Daten,

00:56:47: dir einen riesen Mehrwert Sinn ist, wieder zu dem Datenschutz den du vor einer Wand hattest die werfen wir einfach über den Zaun zu den Daten Menschen zu den data engineers zu den anschluss und die werden dann schon damit klarkommen.

00:57:01: Und Anis ist genau die Idee dass man diese beiden Welten näher zusammenbringt und Anni versucht.

00:57:10: Die am Teams zu zerschneiden oder an die Verantwortlichkeiten so zuschneiden dass man eben die Teams in gewissen Service entwickelt die dass man die Teams am die eingewiesen Service entwickeln am auf soweit bringt das die eben.

00:57:26: Basidie die analytischen Daten die eService produziert tatsächlich auch als Mehrwert für den sie verantwortlich sind begreifen zu sagen also wenn mal.

00:57:39: Vielleicht in dem Bar Beispiel noch mal sieht man sagt.

00:57:45: Ich habe Team bis entwickelt sondern sondern Fahrrad Konfigurator und es ist natürlich dafür zuständig dass diese Anwendung super gut funktioniert das damit zu tut sich ist dass ich stelle reagiert.

00:57:56: Das soll weiterhin zu sein aber natürlich ist die.

00:58:02: Und Informationen wer wann welches Fahrrad kauft wer welche Komponenten auswählt auch super spannend für.

00:58:12: Für andere Bereiche man kann sich vorstellen dass dort,

00:58:15: andere Teams in Unternehmen zu Beispiel Empfehlungen generieren für bestimmte Menschen also wenn ich mir zb ein sehr hochwertiges Rennrad zusammen konfiguriere

00:58:26: aber sich vorstellen dass ich so eine Mensch zum Beispiel auch ein Tool der Rennradrunde empfehle war doch mal hier diese schöne Runde und.

00:58:37: Anstatt.

00:58:37: Und einfachen Mehrwert zu liefern dann und am einfach tolles Paket so ein bisschen Grüße zuschnüren ja aber Dominik dann ist das Data Mesh da geht's nicht um Technologie.

00:58:46: Also die Technologie ist dann die altbewährte Technologie oder dann hast du deinen

00:58:51: bloody Technologie die jetzt auch im data Lake verwendest du hast dann vielleicht Hadoop Spark und die ganzen anderen Tools die wir seit vielen Jahren schon einsetzen die sich bewährt haben wo wir uns auskennen die nutzen wir es einfach weiter,

00:59:03: Didi hier ist jetzt also ich bin ja agilist.

00:59:07: Die Idee hier ist doch jetzt einfach zu sagen ok was ist unser großes Produkt und wir setzen das mal alle Leute die da irgendwie was mitzureden haben und sich irgendwie auskennt in die Stakeholder sind die Sätze was man in einen Tisch

00:59:20: Und es jetzt das nicht irgendwie Entwickler Leute am Tisch und an der lüsternen Tisch und ja mit mit Glück und Zufall und Spürsinn funktioniert vielleicht sondern wir holen uns jetzt mal die Leute die da Analyse machen

00:59:32: hiermit rein und wir holen uns vielleicht auch noch

00:59:34: Leute vom Betrieb mit rein dir dann später zum Produkt auch verkaufen und überlegen mal gemeinsam was für ein Nutzen können wir daraus ziehen und überlegen dann vielleicht darauf Sonne

00:59:43: technischen Ebene jetzt wie müssen Zutaten Red aussehen wie müssen die aufbereitet sein wobei aus meiner Sicht wäre

00:59:50: das ihren zweischrittig glaubst du der erste wichtige Schritt ist doch dieses gemeinsame Verständnis irgendwie zu schaffen und nicht so dieses silodenken zu haben denn das kenne ich auch noch richtig richtig gut und ich meine das auch gar nicht bös,

01:00:03: ich kenne silodenken aus vielen Projekten in denen ich war

01:00:07: da gabs halt große Unternehmen und da gabs halt ein Entwicklungsteam wo eine Applikation entwickelt hat dann gab es oftmals doch ein Team das hat vielleicht nur Frontend gemacht

01:00:17: ein Team hat die Handy App gemacht irgendwie und letztendlich war das alles ein riesen Produkt.

01:00:22: Auf die Leute die waren teilweise auch räumlich getrennt und hatten dann unterschiedlich Abteilung unterschied ihr Vorgesetzter blablablablabla und man hat den Leuten nicht,

01:00:31: nicht dabei geholfen sie anmutig zusammenzuarbeiten sondern man hat er Lauf die

01:00:36: ja keine Ahnung auf die eigenen Ziele geschaut auf das eigene Produkt weil das gut sein sollte und

01:00:43: ja unterstrich war das nie gut also unterm Strich hat man sich da immer geschaut oder so wenig Kommunikation fand ich immer immer schlecht und finde ich heute immer noch schlecht.

01:00:52: Hast du Recht da du ja ich wollte in der damals tatsächlich auch in kann dann ich gar nicht als technische Lösungen sehen und erst recht nicht als eine Plattform die man sich kaufen kann also das klar und taktile Wahrnehmung

01:01:06: das ist das nichts ist wo man sich infozeichen einkauft wie ein bin System.

01:01:12: MSG bitte ich darum die Sachen Ende zu Ende zu denken also jetzt endlich von der Applikation bis zum Daten Produkt des zu dieser Applikationen gehört und da ist dann schon die Idee das mal

01:01:26: die Teams daneben,

01:01:27: dementsprechend in-built und die spannende Frage ist aber dann will ich auch also die eigentlichen Technologien die können schon Melodie ähnlich bleiben also.

01:01:37: Vielleicht bitte das System natürlich wären jetzt gar nicht so

01:01:40: Steig über den die die iCloud Entwicklung gesprochen nämlich auch in den letzten Jahren sehr stark war also.

01:01:48: Was ich viele Systeme am die wär,

01:01:52: bisher Impressionen premise data lakes und paar Jahren noch gebaut haben dann gibt's mittlerweile eben auch in eine Cloud Umgebungen mit großen Vorteil als will unserer Kunden haben einfach ganz klare Cloud first Strategie.

01:02:05: Was sind denn der große Anbieter die man so kennt also mir fällt da direkt zu Escher ein Didi sehr viel machen in dem ganzen Bereich.

01:02:11: Genau das sind so die ganz großen bekannten Escher AWS Google Cloud sind so die ganz brand public clouds man eben auch eine sehr große Auswahl an verschieden Technologien hat die eben auch zur Aufbereitung von,

01:02:24: haben von Daten sicher mächtig sind und die mittlerweile natürlich auch sehr,

01:02:28: sehr weit sind aber die Deckelung will ich auch sehr schnell kann mich noch erinnern als meine ersten Big Data Projekte in in Karlsruhe haben wir einen,

01:02:37: Und wenn wir zurück System gehabt und hatten pro Tag 1 Terabyte an Daten das war damals tatsächlich viel und in unserem Sonnensystem war eine der wenigen Möglichkeiten damit klarzukommen.

01:02:50: Aber diesmal in die heutige Zeit überträgt das sind jetzt kurz nach dummen mit denen Sohn Cloud data warehouse Wien Google big Query.

01:02:58: Oder an Arbeitswirtschaft oder Microsoft da sein Apps mit Links klarkommen sozusagen spricht viele von den.

01:03:07: Technischen Problemen mit großen Datenmengen klarzukommen die hat uns die klaut einfach genommen sozusagen das ist eine sprich aber diese Werkzeuge.

01:03:16: Die sind jetzt auch für die erfolgreichen data machines relevant das heißt aber auch.

01:03:25: Dass ich natürlich meine Teams ein bisschen breiter aufstellen muss also ich brauche jetzt natürlich.

01:03:31: In hoffentlich oder ist es wäre dann schwierig wenn ich in meinem wenn ich in jedem Team sozusagen einen data engineer Experten bräuchte.

01:03:41: Mit diesem Daten Technologien klarkommt weil der Wagen zeigt auch also

01:03:47: Doppel Bereichen in unserem Umfeld ist die die anzahl an ist die Verfügbarkeit an als Experten knapp

01:03:59: data Engineering Umfeld auch sprich wenn ich früher ein zentrales der der engineer Team hatte dann auch das Licht nicht hin dass.

01:04:09: Jedes Team von eigenem bekommt weil es schlicht nicht genug gibt und da ist tatsächlich die Idee am gibt es Prinzip.

01:04:18: Um diese Problem so zu begegnen dass ich jedem Team unserem Selfservice Gedanke die.

01:04:28: Data in Schlieren oder die Daten und Werkzeuge zur Verfügung stelle um mit den Daten klar zu kommen dann muss natürlich auch klar es ist das.

01:04:38: Diese neuen data machines die müssen schon Dinge tun dann finden diese vorher nicht mussten also wenn ich meine analytischen Daten als Team.

01:04:47: Zur Verfügung stelle dann muss ich z.b. auch selber in der Lage sein

01:04:52: die vorher aufzubereiten und zu säubern das was vorher der data engineer in der zentralen Plattform gemacht hat das muss ich jetzt selber tun und spricht dafür brauche ich auch in nachdem wenn ich vielleicht viele Daten erzeuge brauche ich auch mächtige Werkzeuge.

01:05:07: Aber da hat sich in den letzten Jahren sehr viel getan und diese.

01:05:11: Von mächtigen data Einschläge Werkzeuge die sind sehr viel leichter nutzbar geworden und die Idee oder 11 der an die Hauptprinzipien danke da möchte ich leben.

01:05:24: Dass ich über so einen selbst als Gedanken besondere self-service data infrastructure zur Verfügung stelle also das.

01:05:34: Wenn ein Team sozusagen einen Daten Werkzeug braucht dann muss ich das nicht selber aufbauen administrieren muss keine Experten dafür anlernen sondern kann es einfach weniger bestellen bekommt dann.

01:05:48: Das in dem Bild wenn der älter lag früher so eine riesengroße zentrale Werkbank war.

01:05:55: Dann bekommt das neue data Messteam Beweger eine kleine Werkbank mit einfach nutzbaren Werkzeugen direkt geliefert.

01:06:04: Am um eben in der Lage zu sein ist dann Produkt auch selber zu erzeugen und das ist ein Prinzip.

01:06:12: Beim Peter Mescher sind Mama gesagt ganz wichtig ist dieser Gedanke dass die Teams ihre analytischen Daten als ein Produkt begreifen als Nährwert begreifen.

01:06:23: Und um dieses Produkt bauen zu können erstellen zu können muss ich ihnen eben Werkzeuge an die Hand geben,

01:06:30: und es auch tun zu können ohne Experten zu brauchen und ohne zu viel Aufwand in die Administration stecken zu müssen ja.

01:06:39: Er mich erinnert das brutal an diese ganze Zeit Erfolgsgeschichte dann früher war es ja auch so du hattest operations Experten und die haben sich halt mit dem ganzen Themenkomplex deployments Betrieb von Applikationen

01:06:51: Betrieb von Servern ist richtig richtig gut ausgekannt.

01:06:55: Und hattest oft für Leute die konnten halt richtig gut Software entwickeln konnten vielleicht auch noch ein Release bauen etc und dann hat man das fertige Release von dir über den Zaun geworfen

01:07:05: und heute ist es aber nicht so dass ich jetzt jeder Mensch der einem Software Entwicklungsteam drin ist halt auch

01:07:12: brutal gut unbedingt auskennt mit operations Themen aber das kannst du operations Themas zugänglicher geworden,

01:07:19: und so das Know-how dass du heut heute brauchst um es irgend in Diplom in durchzuführen das ist einfach weniger

01:07:25: weil du halt Tools hast weil auch viel abstrahiert wurde weil das nicht mal alles auf der Konsole vielleicht hacken musst sondern du hast sowas wie keine Ahnung gitlab wurde automatisch was die blauen kannst oder halt ja keine Ahnung wenn du in der Cloud bist sowas wie Escher der Forbes und es gibt noch viele andere Tools.

01:07:41: Und am du brauchst sicherlich noch dieses

01:07:44: basic knowledge das ist das grundlegende wissen was ist denn deployment die funktioniert das aber es gibt ja trotzdem noch Experten für Operations und wenn der Server irgendwie nicht will und wenn es ein VPN Problem gibt und man die Network Bridge irgendwie ein Wackelkontakt,

01:07:58: ja dann gehe ich zu Kollegen und sag hey Kollegen

01:08:01: funktioniert nicht ja keine Ahnung ich hab alles probiert und dann schau die sich an und repariert irgendwas und installierten Server neu oder tauschen Switch oder macht irgendwo was was

01:08:11: ihre fachdomäne ist aber es wird diese diese Pufferzone dazwischen die ist halt viel breiter geworden als früher früher war das halt die nicht und ganz enger Strich.

01:08:20: Und wenn ich darüber nachdenke muss ich sagen wir hatten vielleicht zuerst eine technische Evolution,

01:08:27: angefangen von hey was ist eine Datenbank bis hin zu hey wir haben Big Data wir haben data Lake wir haben coole Tools ist zugänglicher wir arbeiten ist mit Grieß anstatt mit Commandline und es ist einfacher zu verstehen wir haben abstrakte

01:08:41: Konzepte mit denen man halt anfangen einfachen Zugang bekommt

01:08:45: und haben wir jetzt vielleicht einfach so eine Art kulturelle oder kommunikative Evolution wo was sagen okay wir gehen jetzt einfach von unserem

01:08:53: Mainzer Dom also ganz schlimmes Wort zu benutzen mal einen Schritt weiter und denken uns rein denken vielleicht ein bisschen.

01:09:01: Bisschen impulsiver was die ganzen Konzepte angeht und wir machen jetzt wenn ich jetzt ein Softwareentwickler bin ich mache ein bisschen operations mit aber ich bin kein Hardcore operations Typ,

01:09:11: ich mache jetzt ein bisschen Analytics mit indem ich die Daten auf bereite aber von den ganzen komplizierten Algorithmen die du vielleicht da täglich anwendest und dann neues Wissen zu generieren und die Schätze zu heben er hat da kenne ich mich nicht aus interessiert mich an ich auch nicht so ich programmiere Liebe.

01:09:26: Ist das vielleicht so ein bisschen was.

01:09:28: Über die tatsächlich auch total überstreichen lassen unser Eindruck wenn der auch,

01:09:33: gucken wir gerade aktuell Wicklungen wahrnehmen ist das tatsächlich die einen Probleme oder die Hemmnisse um die Mehrwerte aus dem daten zu heben,

01:09:42: die sind nicht bei technischer Natur also dies ist ist nicht mehr an Problem sehr große Datenmengen auszuwerten es gibt gerade in Clouds auch super gut eServices auch um Daten in Echtzeit anzuliefern,

01:09:56: Datenstrom Anlieferung Event Semir und Co am 17 gute Claudia der versus also die technische Probleme Anführungszeichen

01:10:05: am viele Firmen glaube ich ganz gut im Griff es geht tatsächlich um sowas und das habe ich jetzt auch mal bei einer Konferenz gehört

01:10:12: am um sowas wie eine data culture wird ist es doch das was du gerade bisschen beschreibst und warum ich das auch so spannend finde ist das.

01:10:21: Dass sie sich bei dieser data culture da kommt einfach.

01:10:24: Ganz viel zusammen was zusammen gehört also bei der phonox kam zwei Sachen zusammen ohne dass jeder Entwickler gleich was ich Obst Profil wird.

01:10:35: Ich habe meine was zusammengewachsen was letztendlich gut ist und bei dem Wetter möchte immer.

01:10:42: Kommt jetzt endlich noch was drittes dazu also bei mir mal so ganz grob braucht man ja auch nicht für.

01:10:49: Für alle Lösungen unseren Bereich oft Anwendungen Applikationen natürlich einmal gesagt er braucht ihr Frau Struktur wo drauf das läuft und.

01:11:00: Daten dass man daraus machen kann ist immer jetzt auch schon zu genüge durchgesprochen.

01:11:05: Läutet ja.

01:11:07: Und am indibet MS Paradigma kommt einfach viel viel beide zusammen und es heißt immer.

01:11:16: Diam.

01:11:18: Matthiesen mindshift oder diesen kulturellen shift so hinbekommt dass das endlich die analytischen Daten stärker als bisher auch.

01:11:30: Von den Serviceteams mitgedacht werden das bin ich spannend.

01:11:36: In die andere Richtung was wir das endlich auch wahrnehmen ist das natürlich auch beim Umgang mit,

01:11:43: Daten Land am glaube ich die data engineers Anführungszeichen auch in den letzten Jahren ganz viel.

01:11:52: Von der software engineers gelernt am also gerade.

01:11:57: Und weil sie gute Software zu entwickeln haben sich erst um paar Praktiken ausgebildet weil sie verbessern Ehrung Stichwort MC Eistee die Testbarkeit der fahren.

01:12:10: Paar Ansätze Paradigma wo man einfach weiß wenn man die verfolgt ist die Chance höher dass da einfach gute Software hinten rauskommt dann manchmal so

01:12:18: byton

01:12:20: in der Datenwelt ist es tatsächlich was was zumindest historisch gar nicht so sehr selbstverständlich war weil teilweise durchaus spielgeist große Datenbestände zu eher nicht,

01:12:31: dann verbilligen zur an die Person ihren aber dass man.

01:12:38: Weil sie diese Muster auch auf datenprodukte anwendet ist sozusagen ein Lernprozess in die andere Richtung und dann bewegt sich bin ich ganz viel aufeinander zu wo wir auch in den Projekten im wieder feststellen.

01:12:52: Am das da glaube ich eine riesen Chance da ist es wie das aber immer mit so.

01:12:59: Kulturellen oder organisatorischen wandeln ist es sicherlich nichts was von heute auf morgen passiert auch bei.

01:13:07: Der Frage wie malt so in Richtung eines delta-maxx geht dann ist es wahrscheinlich eher was was ich was ich Stück für Stück entwickelt.

01:13:17: Wir sind tatsächlich nur im Baurecht begeistert und gespannt weil.

01:13:24: Mein Bauchgefühl ist das Inzest tatsächlich in der nächsten Zeit sehr stark euch begleiten wird und wir uns da auch drauf dort freuen mit der Hintergrund den den wir haben da auch mitzumachen und des Todes mitzugestalten.

01:13:38: Also sehe ich genauso wie du und ich bin kein Experte was das Data möchte angeht aber ich bin Experte was was Kommunikation angeht einfach und ich glaube das ist immer von Vorteil ist wenn Menschen miteinander reden und Menschen voneinander lernen und sich austauschen

01:13:54: und gerade in den Beispiel dass du bringst wenn ich Softwareentwickler dann beschäftige ich mich ja sowieso schon mit den da,

01:14:01: also mit diesem ganzen transaktionalen Daten die in meiner Applikation anfallen da beschäftige ich mich

01:14:07: ich setz mich hin ich überleg mir hey was für Daten muss ich vielleicht erfassen was für Datentypen brauche ich da ich mache mir als Entwickler ja auch dann Gedanken ey wie kann ich die Abspeichern wenn ich es eine relationale Datenbank habe wie sehen meine Daten ab,

01:14:20: der aus wie kann ich das clever machen das requiris habe ich also,

01:14:24: ich beschäftige mich ja sowieso schon damit und jetzt würde ich zuerst die Idee zu haben okay diese Informationen die werden auch für was anderes verwendet das ist nur ein weiteres Outlet für meine Tat.

01:14:35: Und dann zu diesen diesen kleinen Schritt zu haben mir vielleicht dann mal mich mit einer Kollegin oder mit dem Kollegen zusammen zu setzen und sag okay guck mal bei uns fallen die Daten an,

01:14:44: was kann man damit anfangen ist es hin voll.

01:14:47: Da fehlt doch noch was fehlt da noch in Wien Timestamp oder fehlt er noch irgendwie ein anderes Merkmal dass wir erfassen könnten aber was wir halt übel verwerfen weil wir es nicht primär auf die anwendung braucht

01:14:58: haben das finde ich cool weil dadurch steigt ja auch so das Commitment weil dadurch habe ich noch mehr Einblick damit verstehe ich noch mal ein Stückchen mehr von Großen und Ganzen und ich finde es gut.

01:15:09: Und ich bin auch super gespannt ich bin auch super gespannt was du die Zukunft bringt.

01:15:13: Also das ist total spannend was natürlich auch.

01:15:17: Wie ist das wenn man Stück weit den zentralen Teil data Lake Ansatz entwickelt in der dahmash der erteilten data Mesh-Einsatz.

01:15:27: Gib mal sicher von der zentralisierten Lösungen in einer eine verteilte mit einem vielen Vorteilen aber gerade gesehen.

01:15:36: Das Herz Cinebar.

01:15:38: Iskender der Mann microservice gebaut hat und wenn man Dinge bei sich aufteilt werden manche Dinge auch was ich schwieriger ich möchte endlich aus wenn ich jetzt ein Team habe.

01:15:49: Dass sich für ein daran Produkt zuständig fühlt z.b. für die Verkaufsdaten vom von meinem Fahrrad Onlineshop möchte ich natürlich auch dass diese Daten.

01:16:00: Mit einem anderen Daten Produkt integrierbar sind sprichst gebleichten antestat Produkt vielleicht ist da ein Produkt Abend von der von der Fahrradtouren Seite mit den ganzen GPS-Tracks andere Sachen dann Produkt und

01:16:14: ich möchte tool ich dass jemand der diese beiden dal-pont bedeutete der diese beiden da Produkte sieht,

01:16:21: die auch mit einer Beziehung setzen kann und z.b. über den Nutzer sozialen joinen kann und dadurch dass es in dieser Verteilung der Damisch Welt aber niemanden gibt der diese.

01:16:34: Der da die was Übersicht hat weil genau dieser Mensch wäre wieder der Bottleneck den deine gerade von meinen wollen brauche ich darf es andere Lösungen und sprich die.

01:16:47: Den den Ansatz mir weniger am darauf gar nicht zu achten der vorzüglich nicht zum Ziel also eine gewisse Menge an ins mal Konvention oder Vereinbarung muss es schon betamensch weit gehen am da.

01:17:02: Ich weiß ja der Vorschlag dass man sich z.b. auf ein paar leichtgewichtige Konventionen eignet das man.

01:17:08: Dann einig dass man z.b. gerade für.

01:17:13: Eine zentrale Elemente wie z.b. die Nutzer dass man da sich auf eine wie z.b. eine Nutzer-ID aussieht dass man das auf jeden Fall im Feld ist über das mal die Dani,

01:17:24: übersetz mal die Dani integrieren kann das ist das eine und das andere ist ja auch dass es dadurch nicht bei data governance also bei der Frage wie kann ich denn diesen diese Daten die sich so in meinem.

01:17:37: Ich habe mich ergeben.

01:17:39: Wie kann ich die letztendlich auch kontrollieren weil sie auch oft rechtliche Dinge gibt dich am was beachten muss also es darf z.b. dürfen keine Personen relevanten Daten an bestimmte Stellen kommen

01:17:51: und am wenn ich in zentrale System hab mit dem Wetter Lake dann ist es recht einfach weil ich muss einfach in mein Zentralsystem und finde dort alles um z.b. nachzugucken hat jemand

01:18:03: ein Datum dort abgelegt des dort nicht sein darf z.b. eine e-mail adresse das kann ich Ihnen sein daran System,

01:18:11: zentral und leicht pushen weil dort alles an einer Stelle ist in der Parteiensystem ist es natürlich schwieriger und da schlägt,

01:18:20: der der damals den Ansatz vor dass man diese.

01:18:25: Die globalen Regeln die tatsächlich brauche dass man die dass er dich verteilt implementiert und möglicherweise auch sogar automatisiert implementiert bei der z.b.

01:18:35: Dass man.

01:18:39: In dir irgend eine Form von technischer Integration der Daten muss es ja letztendlich auch im Bett amesh geben oft ist es sowas wie einen Datenkatalog oder.

01:18:50: Z.b. auch mehr auch in Events Training platform die Kafka wo einfach die verschiedenen dan Produkte der.

01:18:58: Ja am Teich Team sozusagen bekannt gemacht werden oder eingespeist werden und da ist.

01:19:07: Dann z.b. das mal in diesem smartinterface Systeme dass man dort z.b. man diese Systeme Regeln hinterlegt die dann z.b. automatisiert prüfen wenn ich z.b. einen Datensatz veröffentliche.

01:19:21: Das dann bestimmte Tags automatisch laufen z.b. mit einem mit einer Prüfungen auf.

01:19:29: Matching Stardust in Datenfeld in E-Mail Tasse vorkommt.

01:19:33: Okaysoft personenbezogene Daten Telefonnummer irgendwie solche Dinge okay.

01:19:38: Genau und ist ja daneben Sachen also.

01:19:41: Wenn ich Dinge verteile die sind immer so es sind manche Sachen leichter andere Sachen schwerer am die sind diese übergreifende Kontrolle.

01:19:49: Dann eben die Idee dass man die.

01:19:52: Federated computationally am so ist der der Begriff der verwendet wird implementiert am aber halt ich habe halt eben tatsächlich keine zentrale Instanz mehr

01:20:04: es ist eben verteilen dadurch muss ich eben auch die Kontrolle verteilt und automatisiert implementieren und ist ein Ansatz des.

01:20:12: Ja verstehe ich glaube.

01:20:15: Der Weg dorthin bis man sowas wirklich komplett verteilt komplett automatisiert hat der ist sicherlich noch eine gewisse Strecke die man gehen muss aber bis es soweit ist kann man ja sicherlich auch einfach mal so step-by-step sondern zum Hybride Ansatz fahren

01:20:28: also man hat ja nicht jetzt von Tag eins ein riesengroßes verteilte Systeme im Unternehmen sondern

01:20:34: wenn noch mal überreden welche großen Firmen sprechen dir zu unseren Kunden zählen

01:20:38: dann ist es ja in der Regel nicht so dass der Kunde sagt ja servus wir haben 500000 Mitarbeiter und ich die viele Daten macht mal alles komplett neu,

01:20:47: er soll die Ausnahme aber

01:20:50: meistens ist es ja so dass du Kunde sagt ja finde ich cool ich habe jetzt vielleicht entweder ein Altsystem das nicht mehr funktioniert ist es überlastet kommt im Moment oder ist einfach komplett alt und sicher oder ich habe vielleicht neuen Geschäftsbereichen habe eine neue Datenquelle lass uns doch da mal ein erstes kleines.

01:21:06: Und dann kannst du es auch sagen okay das sind drei Datenquellen die müssen das einfach manuell checken dass die Daten passen,

01:21:14: etablieren jetzt vielleicht erstmal so diesen Aspekt zum kulturellen Aspekt dass die Leute aus der Entwicklung sich mit den Leuten aus der Analyse einfach abstimmen und und das schon mal ihren wie zum fliegen kriegen,

01:21:25: also könnte ich mir das vorstellen aber das ist dadurch auch so meine meine agile Brille wo ich sag okay

01:21:30: kontinuierlich verbessern immer schön Inkremente Inkrement inspectanet lebt und so ein Stück zu Stück lernen und und besser werden einfach.

01:21:40: Aber die aus Versehen also wenn ich beim Wort finden müsste mich denn.

01:21:45: DATA mich gerade Anordnung eines tatsächlich bezahlten es ist ein Wegweiser in die richtige Richtung,

01:21:52: da muss man so ein Ding da auch immer das Glück auch schon viele Kunden auch länger auf ihrer Reise der datenplattformen zu zu begleiten und,

01:22:02: da ist auch dass viele unserer Kunden die haben noch unter darüber Haus auch aus gutem Grund teilweise sie haben noch in data Lake und auch als wir dort hingekommen sind Alex aufgebaut haben ist es nicht das dann ab sofort des tätowierhaus weg ist und am.

01:22:17: Ich habe dieses inkrementelle dann erweitern und auch wirklich was da auch nicht Wahrnehmung war.

01:22:24: Bei dem Datenplattform die wir gebaut haben natürlich gibt es sicherlich bettenreich die Touren aber gerade das Thema,

01:22:30: Daten die technischen Voraussetzungen die regulatorischen Voraussetzungen die Verteilung des Krisenunternehmen ist so individuell.

01:22:39: Tatsächlich auch jede datenlandschaft ein Stück weit individuell ist und,

01:22:44: so wir auch unsere Wartung dass ich so die nächsten Schritte in Richtung data Mission wickeln dass er wirklich mal guckt wo.

01:22:51: Bietet sich das dann an in meinem aktuellen Setup eben die data möchte Gedanken mal auszuprobieren also wir haben.

01:23:00: Aber schon Ansätze oder sagen geht dann ein Kundenbild sich z.b. nur an über so einen Datenaustausch Layer nachzudenken also die haben verträglichen verteilte Teams die auch schon in Richtung Produkt denken.

01:23:14: Und da mal sie zu überlegen wie könnte denn eine sonorous ohne austauschen publikationsplattform für Daten aussehen also.

01:23:25: Bei diesem Einsatz mal zu machen wären dann auch an die Kunden vielleicht ja noch auf der grünen Wiese sind und das glaube ich billig Acer individuell und er hat inkrementeller weg aber ich würde Z60 als

01:23:39: als Wegweiser sie nicht leicht ein ganz gutes Bild haben.

01:23:42: Wenn ich ein sehr schönes Schlusswort Dominik wenn man jetzt mehr erfahren möchte über das Thema data Mesh

01:23:49: was kann man denn dann tun hast du vielleicht den Weg weiße zu weiteren Informationen wie man sich da noch ein bisschen schlau machen kann.

01:23:59: Ich weiß ja ist ein gutes Stichwort ja noch ein bisschen war gerade ziemlich steigt auf dem Schirm beschäftigen unserer internen steigt damit wenn euch das weiter interessiert schaut gerne mal von salenium page vorbei bitte mal bisschen darstellen,

01:24:13: und du bist immer,

01:24:14: DATA möchte angereichert mit Beispielen und zum Kunden wenn ihr Interesse hat nicht mal live zu sehen wir planen auch demnächst mal Event haben wir auch wenn wir unsere Sicht,

01:24:27: darstellen vielleicht doch mal bitte bei eingeladenen Menschen und dem Ding dazu findet auch in den Donots und,

01:24:34: habe ich mich freuen da auch in den Austausch zu gehen weil was er bisher in Richtung data möchte auf dem Schirm haben ist ehrlich auch unsere Sicht aber spannend finde ich auch genau den wegen dieser Richtung einfach gemeinsam weiter.

01:24:49: Auszugestalten dass der Wegweiser da auch in die richtige Richtung zeigt haben.

01:24:53: Ja vielen Dank Dominik also ich bin auf jeden Fall dabei bei dem Event bin echt schon gespannt auf deinen Beitrag und auf die ganzen anderen Infos die es da gibt falls ihr da draußen noch Feedback habt dann könnt ihr mich per E-Mail erreichen unter podcast@inovex.de

01:25:07: oder über unsere sozialen Kanäle z.b. auf Instagram oder auf Twitter da würde ich mich auch freuen wenn ihr uns folgt.

01:25:14: Und ich fange eine Stelle mal tschüss und wir hören uns wieder in zwei Wochen.

01:25:19: Tschüss vielen Dank Wolfgang und was ich noch zu tun bleibt ist natürlich and James Bond Film gucken und gut Informationen bei der hat das Leben vielen Dank.

01:25:28: Intro