Das Azure Meetup Hamburg im Juli 2019

Im Juli ist es nicht wie gewohnt der dritte Dienstag im Monat, sondern schon der zweite… natürlich mit einer gewissen Rücksicht auf die Ferien 😉 Also sind es nur noch knapp 10 Tage bis zum nächsten Azure Meetup in Hamburg… wir bekommen wieder Besuch von Microsoft Deutschland aus München, Andre Essing (Microsoft TSP) wird bei uns sein. Als ehemaliger MVP und immer noch stetiger Begleiter in der europäischen Data-Platform-Community ein immer wieder gern gesehener Gast, der mit seinem Know-How und seiner Erfahrung viel Wissen weitergeben kann. Daher freue ich mich sehr auf diesen sicherlich spannenden Abend mit euch.

Wir hatten zwar noch kurz inhaltlich diskutiert – hatte ich beim Juni-Meetup auch kurz angedeutet – ob wir noch was zu CosmosDB an diesem Abend machen sollen oder nicht, gemeinsam mit Andre sind wir aber zu dem Schluss gekommen, dass hier die Tiefe und Länge der zur Verfügung stehenden Zeit nicht ausreichen würde, um einer CosmosDB gerecht zu werden. Somit werden wir im Juli erst einmal nicht über CosmosDB reden, sondern „nur“ über Modern Datawarehouse und Databricks.

Modern Datawarehouse and Databricks - Andre Essing - Azure Meetup Hamburg
Modern Datawarehouse and Databricks – Andre Essing – Azure Meetup Hamburg

Anmelden könnt ihr euch – wie gewohnt und natürlich kostenfrei über die Meetup-Seite des Azure Meetups in Hamburg
Hier geht es direkt zu unserer Juli Veranstaltung
Zwar gibt es mittlerweile eine Warteliste, aber es lohnt sich bestimmt auch dort einzutragen, da die Erfahrung gezeigt hat, dass der ein oder andere noch kurzfristig absagt, weil ihm/ihr etwas dazwischen gekommen ist. Also „aufpassen“!

Hier kommt der Abstract für das Meetup, damit ihr wisst worum es gehen soll 😉

Es gibt eine Menge Wege und Möglichkeiten Mehrwerte aus seinen Daten zu ziehen. Seit Jahren machen wir das mit den gleichen Techniken in unseren „klassischen“ Data Warehouse Umgebungen. Aber die Welt ist im steten Wandel und so auch die Daten.

Wo die Daten vor ein paar Jahren noch ausschließlich strukturiert waren, wächst die Zahl von schemalosen Datentypen ins unermessliche, und eine Ende ist nicht in Sicht. Wir kämpfen mit Daten, bei denen sich ständig das Schemata ändert und versuchen Mehrwerte aus neuen Datentypen wie Soziale Medien, Videos und Bildern zu ziehen.

In dieser Whiteboard Session möchte ich mit euch über moderne Wege sprechen, Ihre Daten zu speichern, zu analysieren und zu visualisieren. Zusammen zeichnen wir ein Modern Data Warehouse, schauen uns an welche Möglichkeiten sich bieten verschiedenste Daten zu analysieren und warum uns die Cloud hier hilft.

Von Datawarehouse, über BI, hin zur modernen Datenanalyse und künstlicher Intelligenz – Azure Databricks, die Eierlegende Wollmilchsau

Hast Du schon von Azure Databricks, dem neuen Mitglied in der Azure Big Data Familie, gehört? Es wäre falsch von mir, Azure Databricks nur als einen verwalteten Apache Spark Dienst zu bezeichnen, da Databricks so viel mehr bietet.

Neben dem Transformieren von Daten kann Databricks nicht nur Deine Daten analysieren und streamen, es kann auch Deine ETL-Prozesse abbilden, Machine Learning Modelle trainieren und zur Exploration von Daten genutzt werden. All das steckt im leistungsstarken Kern von Databricks, gepaart mit einer integrierten Entwicklungsumgebung.

Als “First-Class Citizen” in Azure ist Databricks ein “Platform as a Service”-Angebot, das es jedem ermöglicht, Big Data für sich zu nutzen.

Selbstverständlich, sind die ersten Schritte mit einer neuen Technologie die schwierigsten. Genau deshalb möchte ich mir mit euch in dieser Session ansehen, wie man Azure Databricks bereitstellt. Du lernst wie man Cluster konfiguriert, zeitgesteuerte Jobs einplant, auf Sicherheit achtet und vieles mehr.

https://www.meetup.com/de-DE/Azure-Meetup-Hamburg/events/hhtbxqyzkbvb/

Das Azure Meetup Hamburg im Juni 2019

Bald ist es wieder so weit, wir treffen uns zu einem neuen spannenden Abend ! Diesmal geht es an den Hamburger Rödingsmarkt und nicht wie gewohnt zu WeWork in der Herrmannstraße, denn die Firma Point GmbH hat uns eingeladen. Erneut kommt der Vortrag aus der Community allerdings hat der Sprecher diesmal eine etwas weitere Anfahrt, denn Sebastian Schütze kommt aus der Hauptstadt zu uns 😉

Nachdem uns Martin Gudel im letzten Jahr eine Einführung in das Thema Azure DevOps gegeben hat, wird uns Sebastian nun aus seiner Sicht bzw aus seinem alltäglichen Umgang mit dem Thema DevOps berichten. Hierbei wird er einen Überblick bieten, wie er (mit seinem Team) agiles Projektmanagement bzw agile Software-Entwicklung mit Hilfe des Microsoft (Azure/Tool/Software) Stacks betreibt.

Azure Meetup Hamburg - Azure DevOps - ein Bericht aus der Praxis - Sebastian Schütze
Azure Meetup Hamburg – Azure DevOps – ein Bericht aus der Praxis – Sebastian Schütze

Anmelden könnt ihr euch – wie gewohnt und natürlich kostenfrei über die Meetup-Seite des Azure Meetups in Hamburg
Hier geht es direkt zu unserer Juni Veranstaltung
Zwar gibt es mittlerweile eine Warteliste, aber es lohnt sich bestimmt auch dort einzutragen, da die Erfahrung gezeigt hat, dass der ein oder andere noch kurzfristig absagt, weil ihm/ihr etwas dazwischen gekommen ist. Also „aufpassen“!

Vielen Dank an Sebastian Schütze für seine Bereitschaft für die Hamburger Azure Community extra aus Berlin anzureisen, um uns an seinen Erfahrungen mit DevOps Themen teilhaben zu lassen!

Wenn sich Wege trennen, entstehen neue Möglichkeiten

Ich nehme zum 1. Mai Abschied von Atos und wechsle zur Kramer und Crew und möchte euch hiermit einen Rückblick über meinen Weg mit Atos (Atos Origin) geben. Was ich erlebt, gelernt und miterlebt habe, es waren nicht nur unbedingt angenehme Jahre. Aber alles der Reihe nach…

Meine ersten Jahre bei Atos als Junior DBA

Alles begann im Mai 2007, als ich nach einer kurzen Zeit in einer Auffanggesellschaft, meine Stelle als Junior Datenbank Administrator in Hamburg antreten durfte. Ich kannte bis dahin eigentlich nur den SQL Server aus meiner vorherigen Anstellung, sollte nun aber auch zum Beispiel IBM DB2 betreuen, wo in der Anfangszeit mein Schwerpunkt liegt sollte. Im Laufe der ersten Jahre kam dann auch noch MySQL und eine ganze Menge Enterprise Application Integration (EAI) mit TIBCO hinzu, so dass der SQL Server erst einmal in den Hintergrund gerückt wurde.

Nach einigen Projekten, Neu-Ausrichtungen und personellen Veränderungen hatte ich wieder die Verantwortung für zahlreiche Kunden-SQL-Server. So konnte ich die unterschiedlichen Bereiche und Anwendungsfälle in den unterschiedlichsten Ausprägungen mitgestalten und auch letztendlich betreuen. Aber auch hier gab es dann ein „Kommen und Gehen“, zahlreiche Kollegen nahmen im Laufe der Jahre Abschied, einige Studenten nahmen Platz und bereicherten den Alltag und brachten neue Sichtweisen, Kunden kamen und verschwanden, wuchsen oder fusionierten, so änderten sich immer wieder die Anforderungen und Aufgabenstellungen.

meine Entwicklung und Wachstum über die Jahre

Wie das manchmal in größeren Firmen der Fall ist, war es bei Atos früher etwas schwierig immer die Schulung zu bekommen, die man gerne gehabt hätte… daher habe ich für mich entschieden, dass ich mich selber um einen gewissen Teil der Weiterbildung kümmere und habe mich ~2012 der PASS Deutschland angeschlossen und mich online um entsprechende Schulungen, Beiträge, Foren und so weiter gekümmert. Ich habe so einen für mich neuen Weg und eine komplett neue Welt (die Community) entdeckt.

Die SQL Server Community hat mir dann in der Regionalgruppe Hamburg andere Seiten und Features am SQL Server aufgezeigt, mir das Wissen vermittelt, was mich auch in meiner Arbeit weiter gebracht hat. Als ich dann erstmalig 2013 auf das PASS Camp nach Seeheim (FFM) konnte, war das wie eine andere Welt, die ich so bisher nicht gekannt habe. Der Zusammenhalt, das Expertenwissen, die Menge der „Gleichgesinnten“ war einfach überwältigend… auch wenn ich das erst später so realisiert habe. Auch wenn ich nach dem PASS-Camp längere Zeit nicht wirklich in der Community aktiv war (manche Dinge müssen eben erst etwas reifen 😉 ), brachte mich mein eingeschlagener Weg wieder mit der Community zusammen und brachte mich erneut weiter nach vorne.

Ohne meine großartigen Kollegen, den offenen Umgang miteinander, die gegenseitige Unterstützung wäre ich nicht an meinem jetzigen Punkt bzw wäre es wahrscheinlich gar nicht zu diesem Wechsel gekommen. Meiner Einschätzung nach geht es nicht ohne den Support aus einem Team und einen „Mentor“. In diesem Sinne möchte ich von Herzen bei all meinen Hamburger Kollegen bedanken, dass sie sich immer meine Stories angehört und meine Arbeit übernommen haben, wenn ich für die Community unterwegs war. Und vor allem Thorsten Moeller, dass er meine Pläne und Aktivitäten immer im Rahmen seiner Möglichkeiten unterstützt und gefördert hat! Daher fällt mir mein Abschied in gewisser Weise auch schwer…

Community-Engagement – neue Ziele, neue Wege

Als ich Ende 2016 das Azure Meetup in Hamburg „gründete“, war dies erst einmal für mich ein großer Schritt in eine neue Welt bzw in neue Gefilde. Ich war bisher immer nur Teilnehmer, also Nutzer vieler anderer Kümmerer (#SharingIsCaring). Jetzt wollte ich selber die Fäden in die Hand nehmen und meinen Teil dazu beitragen, dass andere meinen Weg gehen können, sich eigenständig weiterbilden, mit anderen Gleichgesinnten unterhalten, ein Netzwerk auf-/ausbauen, einfach mit den Aufgaben wachsen!

Auch nach mehr als zwei Jahren leite ich nun dieses Meetup und es macht immer noch wahnsinnig viel Spaß, sich um die unterschiedliche Themenbereiche in der Microsoft Cloud zu kümmern und der Community hier immer wieder spannende Sprecher und Vorträge zu organisieren. Durch diesen Einsatz in der Microsoft Community wuchs auch mein nationales bzw europäisches Engagement, siehe z.B. meine Vorträge auf dem SQLSaturday in Wien und Linz. Oder letztendlich die Anerkennung meiner Aktivitäten durch Microsoft mit der Ernennung zum Microsoft Most Valuable Professional (MVP). Es ist eine Ehre Teil dieser weltweiten Community zu sein (was hoffentlich auch noch länger so bleibt)!

Wie oben schon geschrieben, bin ich Atos hier sehr dankbar, denn hätte Atos (Origin) damals nicht den Stein ins Rollen gebracht, hätte ich mich nicht auf diese Weise entwickelt und wäre so gewachsen. Es macht einfach unheimlich Spaß und hat im Endeffekt auch dazu geführt, dass ich nun mein Aufgabengebiet zu einem anderen Arbeitgeber verlege und Abschied nehme von Atos.

mehr Data, mehr Cloud, mehr Community – neue Herausforderungen

Ich wechsel also morgen zu einem (im Vergleich zu Atos) kleinen Systemhaus namens Kramer und Crew mit Sitz in Köln. Hier werde ich um die komplette Microsoft Data Platform kümmern dürfen/können und werde gemeinsam mit meinen Kollegen und Kunden an spannenden Cloud-Projekten arbeiten! Auch wenn diese Entscheidung dazu führt, im Vergleich zu den letzten 12 Jahren die ich bei Atos war, dass ich mehr auf der Straße unterwegs bin (#ConsultantLife), so wird mich dieser Weg auch wieder persönlich weiter bringen… menschlich sowie fachlich. Über Details in meinem neuen Umfeld kann ich derzeit noch nichts mitteilen, hierzu werde ich sicherlich zu gegebener Zeit noch einmal einen „Fazit“-Blogbeitrag schreiben. Die letzten Gespräche, Vorstellungen und Pläne/Ideen sind sehr vielversprechend und herausfordernd, ich weiß auf jeden Fall, dass ich viel lernen werde, viel umsetzen kann und das alles mit viel Spaß!

Das klingt erst einmal nach viel viel Arbeit, aber keine Sorge ich bleibe der Community erhalten (sowohl der PASS aka Data-Platform als auch Azure). Im Mai werde ich auf jeden Fall mit einem Vortrag Teil der „Technology Conference Hamburg“ sein, ebenso beim SQLSaturday im Rheinland. Und natürlich gibt es weiterhin das Azure Meetup in Hamburg… also muss ich hiervon keinen Abschied nehmen 😉

Wie sagt man so schön, „man sieht sich immer zweimal“… in diesem Sinne, wünsche ich allen eine erfolgreiche Zukunft und vielen Dank für die angenehme und konstruktive Zusammenarbeit, wir sehen uns garantiert irgendwann einmal wieder… entweder beruflich, auf einer Community Veranstaltung oder im privaten Garten…

SQL Backup auf einer Azure Virtual Machine

Als Database Administrator kennt man das Thema nur zu gut, wenn man sich nicht gleich zu Anfang voll umfänglich mit der Backup bzw Restore-Strategie beschäftigt, fällt es einem irgendwann vor die Füße… aber wie ist das Ganze jetzt in der Cloud, wie kann man da sein Datenbanken richtig sichern? Darum ging es in meinem Vortrag auf dem Global Azure Bootcamp 2019 in Hamburg mit dem Ziel, die neue Möglichkeit mittels Azure Backup auch direkt SQL Server Datenbanken auf einer virtuellen Maschine in Azure zu sichern.

Serverausfall – was nun?

Man stelle sich vor – in der onprem Welt – ein Server fällt aus, die Datenbanken nicht mehr erreichbar… PANIK (zumindest im ersten Moment)… die Fragen, die man sich dann im ersten Moment stellt:

  • Haben wir eine Sicherung?
  • Wann ist die letzte Sicherung erfolgreich gelaufen?
  • Wie groß ist mein Datenverlust?
  • Wie komme ich an die Daten?
  • Wie lange dauert es, bis das richtige Backup für den Restore gefunden wurde?
  • Wie lange dauert der Restore?
  • Klappt der Restore auf Anhieb?
  • Können dann alle wieder auf die Daten zugreifen?

Gehen wir erst einmal von dem Fall aus, dass der Server neu aufgesetzt wird und die Datenbanken dann aus einer Sicherung wieder hergestellt werden müssen. Nun sucht man (vielleicht) über die GUI der Backup-Software nach einer Filesicherung, dem Tape oder einer Datenbank-Sicherung. Spätestens hier wird es interessant 😉

Wie wurde der Datenbank-Server überhaupt gesichert, in welchem Rhythmus, wieviele Files müssen zurück gespielt werden und so weiter… Im schlimmsten Fall gibt es nur eine tägliche Vollsicherung (Full-Backup) auf die lokale Platte mit nur wöchentlicher Filesystemsicherung… 😮
Backup-Lösungen und -Strategien sind aber nicht das Thema dieses Beitrages, denn hier geht es um die Cloud.

Azure SQL Databases und das Backup

In der Cloud ist vieles einfacher (oder zumindest anders), denn wie auch on-prem sollte man sich zumindest Gedanken über die Backup-Strategie machen. Aber zumindest hat sich Microsoft sehr viele Gedanken zu diesem Thema für uns gemacht, so dass in vielen Datenbank-Services wie zum Beispiel der Azure SQL Database das Backup schon automatisch inkludiert ist.

Also alle Azure SQL Database Services (SingleDB, Elastic Pool und Managed Instance) haben bereits ein Backup inkludiert, so dass man sich hier nicht wirklich mehr Gedanken zu einer Backup-Strategie oder „Welche Software wollen wir einsetzen?“ machen muss. Beispielsweise Azure SQL Single-Database hat in den unterschiedlichen Performance-Klassen (Basic, Standard, Premium) unterschiedliche Aufbewahrungszeiten von 7-35 Tagen… was aber wenn man das Backup, aus welchen Gründen auch immer, länger aufbewahren möchte/muss? Dann bleibt einem – für diesen Fall – nur das Hinzufügen eines sogenannten „Log-Time-Retention“ Backups, welches das Backup(-File) zusätzlich auf einem weiteren Storage-Account ablegt und erst nach X Tagen/Wochen/Monaten/Jahren löscht, was einem selber überlassen wird über eine entsprechende Policy zu definieren.

Selbst für den Fall, dass mal ein komplettes Microsoft Rechenzentrum oder sogar eine ganze Region ausfallen sollte, hat Microsoft vorgesorgt und verschiebt alle Backups über Geo-Replication auch in andere Regionen, so dass im Fall der Fälle immer ein entsprechendes Backup für einen Point-in-Time-Restore innerhalb der Retention-Period vorhanden ist.

Automatisierte Backups – da war doch schon was

Ja, automatische Sicherungen (Automated Backup) konnte der SQL Server schon seit der Version 2014, wenn man ihn entsprechend konfiguriert hatte, dann wurde alle Datenbanken bereits „damals“ auf einen Azure Storage Account gesichert. Auch mit der Version 2016 und 2017 blieb diese Funktion erhalten, wurde aber angepasst bzw optimiert (Automated Backup v2). Alternativ könnte man sich auch ein Backup-to-URL mittels Ola Hallengren Skripten vorstellen, aber das hängt dann wieder mit der gesamten Backup-Strategie zusammen und muss entsprechend geplant werden.

Gemeinsame Nutzung von Azure Backup ?

Viele Kunden haben in Azure so oder so eine Azure Backup Vault oder den Azure Backup Service laufen, so dass sich diese Kunden gefragt haben, warum sie damit nur Virtuelle Maschinen als „Ganzes“ sichern können, aber nicht auch ihre SQL Server. Somit wäre eigentlich eine zentrale Lösung für viele Backups in Cloud gefunden. Man könne auch von dieser zentralen Stelle im Portal aus, alle Backups administrieren und überwachen, bräuchte kein weiteres Tool geschweige denn eine neue Backup-Infrastruktur.

Microsoft hat auf die Wünsche und Bitten seiner Kunden gehört und das Azure Backup entsprechend erweitert, so dass man seit Mitte März 2019 auch endlich reine SQL Server Datenbank-Backups damit ziehen kann.

https://azure.microsoft.com/de-de/blog/azure-backup-for-sql-server-in-azure-virtual-machines-now-generally-available/

Jetzt kann man also die Azure Backup Extension sowohl auf fertige SQL Server Marketplace VM-Images ausrollen, als auch auf selbst erstellte SQL Server, um diese dann als native SQL Server Backups gegen Azure Backup zu sichern. Derzeit gibt es folgende Eckpunkte, die für diesen Service sprechen:

  • Zentrale Verwaltung und Überwachung
  • Schutz für verschlüsselte Datenbanken
  • Automatische Erkennung von (neuen) Datenbanken
  • RPO-Wert (Recovery Point Objective) von 15 Minuten
  • Point-in-Time-Wiederherstellungen
  • Langfristige Aufbewahrung
  • Kosteneffektiv

Wenn man nun also das native SQL Server Backup über die neue Extension ausgerollt hat, dann kann man während der Konfiguration im Portal entweder den ganzen Server (Instanz) oder einzelne Datenbanken, ebenso „Autoprotection“ auswählen. Und „zusehen“ wie nach erfolgreichem Deployment die ersten Sicherungen durchgeführt werden. Das Ergebnis sowie Alarme können dann sehr schön und zentral über das Azure Backup Dashboard im Portal überwacht werden. Zusätzlich dazu bietet Microsoft eine PowerBi Application mit der man auf einen (dann einzurichtenden StorageAccount) zu aktivieren, um noch mehr Details zu seinen Sicherungen zu erhalten.

Ein Restore der Datenbanken ist mit wenigen Klicks über das Portal zu realisieren, hierbei stehen dann auch weitere Optionen zur Verfügung, wie man sie aus dem normalen SQL-Restore kennt (z.B. File-Relocation, Overwrite oder Database-Rename).

Fazit zu Azure Backup für SQL Server VMs

Ich persönlich finde diese neue Extension super, wenn man seine SQL Server in einer Azure VM nativ sichern möchte/muss und eine (!!!) zentrale Anlaufstelle für Backups in Azure mit Monitoring, Alerting und Config-Management haben möchte!!!

Das Azure Meetup Hamburg im Mai 2019

Auch im Mai 2019 trifft sich das Azure Meetup Hamburg wieder für einen interessanten und spannenden Abend mit der Community. Diesmal kommt der Vortrag aus der Hamburger Community selber… Benjamin Konrad wird uns über seine praktischen Erfahrungen beim Erstellen von Power BI Architekturen und dem Verknüpfen von Datenquellen, sowie dem Erstellen von Berichten näher bringen.

Anmelden könnt ihr euch – wie gewohnt – natürlich kostenfrei über die Meetup-Seite des Azure Meetups in Hamburg
Hier geht es direkt zu unserer Mai Veranstaltung

Vielen Dank an Benjamin Konrad für seine Bereitschaft selber etwas vorzutragen, eben „aus der Community für die Community“!