Das Azure Meetup Hamburg im Juli 2019

Im Juli ist es nicht wie gewohnt der dritte Dienstag im Monat, sondern schon der zweite… natürlich mit einer gewissen Rücksicht auf die Ferien 😉 Also sind es nur noch knapp 10 Tage bis zum nächsten Azure Meetup in Hamburg… wir bekommen wieder Besuch von Microsoft Deutschland aus München, Andre Essing (Microsoft TSP) wird bei uns sein. Als ehemaliger MVP und immer noch stetiger Begleiter in der europäischen Data-Platform-Community ein immer wieder gern gesehener Gast, der mit seinem Know-How und seiner Erfahrung viel Wissen weitergeben kann. Daher freue ich mich sehr auf diesen sicherlich spannenden Abend mit euch.

Wir hatten zwar noch kurz inhaltlich diskutiert – hatte ich beim Juni-Meetup auch kurz angedeutet – ob wir noch was zu CosmosDB an diesem Abend machen sollen oder nicht, gemeinsam mit Andre sind wir aber zu dem Schluss gekommen, dass hier die Tiefe und Länge der zur Verfügung stehenden Zeit nicht ausreichen würde, um einer CosmosDB gerecht zu werden. Somit werden wir im Juli erst einmal nicht über CosmosDB reden, sondern „nur“ über Modern Datawarehouse und Databricks.

Modern Datawarehouse and Databricks - Andre Essing - Azure Meetup Hamburg
Modern Datawarehouse and Databricks – Andre Essing – Azure Meetup Hamburg

Anmelden könnt ihr euch – wie gewohnt und natürlich kostenfrei über die Meetup-Seite des Azure Meetups in Hamburg
Hier geht es direkt zu unserer Juli Veranstaltung
Zwar gibt es mittlerweile eine Warteliste, aber es lohnt sich bestimmt auch dort einzutragen, da die Erfahrung gezeigt hat, dass der ein oder andere noch kurzfristig absagt, weil ihm/ihr etwas dazwischen gekommen ist. Also „aufpassen“!

Hier kommt der Abstract für das Meetup, damit ihr wisst worum es gehen soll 😉

Es gibt eine Menge Wege und Möglichkeiten Mehrwerte aus seinen Daten zu ziehen. Seit Jahren machen wir das mit den gleichen Techniken in unseren „klassischen“ Data Warehouse Umgebungen. Aber die Welt ist im steten Wandel und so auch die Daten.

Wo die Daten vor ein paar Jahren noch ausschließlich strukturiert waren, wächst die Zahl von schemalosen Datentypen ins unermessliche, und eine Ende ist nicht in Sicht. Wir kämpfen mit Daten, bei denen sich ständig das Schemata ändert und versuchen Mehrwerte aus neuen Datentypen wie Soziale Medien, Videos und Bildern zu ziehen.

In dieser Whiteboard Session möchte ich mit euch über moderne Wege sprechen, Ihre Daten zu speichern, zu analysieren und zu visualisieren. Zusammen zeichnen wir ein Modern Data Warehouse, schauen uns an welche Möglichkeiten sich bieten verschiedenste Daten zu analysieren und warum uns die Cloud hier hilft.

Von Datawarehouse, über BI, hin zur modernen Datenanalyse und künstlicher Intelligenz – Azure Databricks, die Eierlegende Wollmilchsau

Hast Du schon von Azure Databricks, dem neuen Mitglied in der Azure Big Data Familie, gehört? Es wäre falsch von mir, Azure Databricks nur als einen verwalteten Apache Spark Dienst zu bezeichnen, da Databricks so viel mehr bietet.

Neben dem Transformieren von Daten kann Databricks nicht nur Deine Daten analysieren und streamen, es kann auch Deine ETL-Prozesse abbilden, Machine Learning Modelle trainieren und zur Exploration von Daten genutzt werden. All das steckt im leistungsstarken Kern von Databricks, gepaart mit einer integrierten Entwicklungsumgebung.

Als “First-Class Citizen” in Azure ist Databricks ein “Platform as a Service”-Angebot, das es jedem ermöglicht, Big Data für sich zu nutzen.

Selbstverständlich, sind die ersten Schritte mit einer neuen Technologie die schwierigsten. Genau deshalb möchte ich mir mit euch in dieser Session ansehen, wie man Azure Databricks bereitstellt. Du lernst wie man Cluster konfiguriert, zeitgesteuerte Jobs einplant, auf Sicherheit achtet und vieles mehr.

https://www.meetup.com/de-DE/Azure-Meetup-Hamburg/events/hhtbxqyzkbvb/

Das Azure Meetup Hamburg im Juni 2019

Bald ist es wieder so weit, wir treffen uns zu einem neuen spannenden Abend ! Diesmal geht es an den Hamburger Rödingsmarkt und nicht wie gewohnt zu WeWork in der Herrmannstraße, denn die Firma Point GmbH hat uns eingeladen. Erneut kommt der Vortrag aus der Community allerdings hat der Sprecher diesmal eine etwas weitere Anfahrt, denn Sebastian Schütze kommt aus der Hauptstadt zu uns 😉

Nachdem uns Martin Gudel im letzten Jahr eine Einführung in das Thema Azure DevOps gegeben hat, wird uns Sebastian nun aus seiner Sicht bzw aus seinem alltäglichen Umgang mit dem Thema DevOps berichten. Hierbei wird er einen Überblick bieten, wie er (mit seinem Team) agiles Projektmanagement bzw agile Software-Entwicklung mit Hilfe des Microsoft (Azure/Tool/Software) Stacks betreibt.

Azure Meetup Hamburg - Azure DevOps - ein Bericht aus der Praxis - Sebastian Schütze
Azure Meetup Hamburg – Azure DevOps – ein Bericht aus der Praxis – Sebastian Schütze

Anmelden könnt ihr euch – wie gewohnt und natürlich kostenfrei über die Meetup-Seite des Azure Meetups in Hamburg
Hier geht es direkt zu unserer Juni Veranstaltung
Zwar gibt es mittlerweile eine Warteliste, aber es lohnt sich bestimmt auch dort einzutragen, da die Erfahrung gezeigt hat, dass der ein oder andere noch kurzfristig absagt, weil ihm/ihr etwas dazwischen gekommen ist. Also „aufpassen“!

Vielen Dank an Sebastian Schütze für seine Bereitschaft für die Hamburger Azure Community extra aus Berlin anzureisen, um uns an seinen Erfahrungen mit DevOps Themen teilhaben zu lassen!

SQL Backup auf einer Azure Virtual Machine

Als Database Administrator kennt man das Thema nur zu gut, wenn man sich nicht gleich zu Anfang voll umfänglich mit der Backup bzw Restore-Strategie beschäftigt, fällt es einem irgendwann vor die Füße… aber wie ist das Ganze jetzt in der Cloud, wie kann man da sein Datenbanken richtig sichern? Darum ging es in meinem Vortrag auf dem Global Azure Bootcamp 2019 in Hamburg mit dem Ziel, die neue Möglichkeit mittels Azure Backup auch direkt SQL Server Datenbanken auf einer virtuellen Maschine in Azure zu sichern.

Serverausfall – was nun?

Man stelle sich vor – in der onprem Welt – ein Server fällt aus, die Datenbanken nicht mehr erreichbar… PANIK (zumindest im ersten Moment)… die Fragen, die man sich dann im ersten Moment stellt:

  • Haben wir eine Sicherung?
  • Wann ist die letzte Sicherung erfolgreich gelaufen?
  • Wie groß ist mein Datenverlust?
  • Wie komme ich an die Daten?
  • Wie lange dauert es, bis das richtige Backup für den Restore gefunden wurde?
  • Wie lange dauert der Restore?
  • Klappt der Restore auf Anhieb?
  • Können dann alle wieder auf die Daten zugreifen?

Gehen wir erst einmal von dem Fall aus, dass der Server neu aufgesetzt wird und die Datenbanken dann aus einer Sicherung wieder hergestellt werden müssen. Nun sucht man (vielleicht) über die GUI der Backup-Software nach einer Filesicherung, dem Tape oder einer Datenbank-Sicherung. Spätestens hier wird es interessant 😉

Wie wurde der Datenbank-Server überhaupt gesichert, in welchem Rhythmus, wieviele Files müssen zurück gespielt werden und so weiter… Im schlimmsten Fall gibt es nur eine tägliche Vollsicherung (Full-Backup) auf die lokale Platte mit nur wöchentlicher Filesystemsicherung… 😮
Backup-Lösungen und -Strategien sind aber nicht das Thema dieses Beitrages, denn hier geht es um die Cloud.

Azure SQL Databases und das Backup

In der Cloud ist vieles einfacher (oder zumindest anders), denn wie auch on-prem sollte man sich zumindest Gedanken über die Backup-Strategie machen. Aber zumindest hat sich Microsoft sehr viele Gedanken zu diesem Thema für uns gemacht, so dass in vielen Datenbank-Services wie zum Beispiel der Azure SQL Database das Backup schon automatisch inkludiert ist.

Also alle Azure SQL Database Services (SingleDB, Elastic Pool und Managed Instance) haben bereits ein Backup inkludiert, so dass man sich hier nicht wirklich mehr Gedanken zu einer Backup-Strategie oder „Welche Software wollen wir einsetzen?“ machen muss. Beispielsweise Azure SQL Single-Database hat in den unterschiedlichen Performance-Klassen (Basic, Standard, Premium) unterschiedliche Aufbewahrungszeiten von 7-35 Tagen… was aber wenn man das Backup, aus welchen Gründen auch immer, länger aufbewahren möchte/muss? Dann bleibt einem – für diesen Fall – nur das Hinzufügen eines sogenannten „Log-Time-Retention“ Backups, welches das Backup(-File) zusätzlich auf einem weiteren Storage-Account ablegt und erst nach X Tagen/Wochen/Monaten/Jahren löscht, was einem selber überlassen wird über eine entsprechende Policy zu definieren.

Selbst für den Fall, dass mal ein komplettes Microsoft Rechenzentrum oder sogar eine ganze Region ausfallen sollte, hat Microsoft vorgesorgt und verschiebt alle Backups über Geo-Replication auch in andere Regionen, so dass im Fall der Fälle immer ein entsprechendes Backup für einen Point-in-Time-Restore innerhalb der Retention-Period vorhanden ist.

Automatisierte Backups – da war doch schon was

Ja, automatische Sicherungen (Automated Backup) konnte der SQL Server schon seit der Version 2014, wenn man ihn entsprechend konfiguriert hatte, dann wurde alle Datenbanken bereits „damals“ auf einen Azure Storage Account gesichert. Auch mit der Version 2016 und 2017 blieb diese Funktion erhalten, wurde aber angepasst bzw optimiert (Automated Backup v2). Alternativ könnte man sich auch ein Backup-to-URL mittels Ola Hallengren Skripten vorstellen, aber das hängt dann wieder mit der gesamten Backup-Strategie zusammen und muss entsprechend geplant werden.

Gemeinsame Nutzung von Azure Backup ?

Viele Kunden haben in Azure so oder so eine Azure Backup Vault oder den Azure Backup Service laufen, so dass sich diese Kunden gefragt haben, warum sie damit nur Virtuelle Maschinen als „Ganzes“ sichern können, aber nicht auch ihre SQL Server. Somit wäre eigentlich eine zentrale Lösung für viele Backups in Cloud gefunden. Man könne auch von dieser zentralen Stelle im Portal aus, alle Backups administrieren und überwachen, bräuchte kein weiteres Tool geschweige denn eine neue Backup-Infrastruktur.

Microsoft hat auf die Wünsche und Bitten seiner Kunden gehört und das Azure Backup entsprechend erweitert, so dass man seit Mitte März 2019 auch endlich reine SQL Server Datenbank-Backups damit ziehen kann.

https://azure.microsoft.com/de-de/blog/azure-backup-for-sql-server-in-azure-virtual-machines-now-generally-available/

Jetzt kann man also die Azure Backup Extension sowohl auf fertige SQL Server Marketplace VM-Images ausrollen, als auch auf selbst erstellte SQL Server, um diese dann als native SQL Server Backups gegen Azure Backup zu sichern. Derzeit gibt es folgende Eckpunkte, die für diesen Service sprechen:

  • Zentrale Verwaltung und Überwachung
  • Schutz für verschlüsselte Datenbanken
  • Automatische Erkennung von (neuen) Datenbanken
  • RPO-Wert (Recovery Point Objective) von 15 Minuten
  • Point-in-Time-Wiederherstellungen
  • Langfristige Aufbewahrung
  • Kosteneffektiv

Wenn man nun also das native SQL Server Backup über die neue Extension ausgerollt hat, dann kann man während der Konfiguration im Portal entweder den ganzen Server (Instanz) oder einzelne Datenbanken, ebenso „Autoprotection“ auswählen. Und „zusehen“ wie nach erfolgreichem Deployment die ersten Sicherungen durchgeführt werden. Das Ergebnis sowie Alarme können dann sehr schön und zentral über das Azure Backup Dashboard im Portal überwacht werden. Zusätzlich dazu bietet Microsoft eine PowerBi Application mit der man auf einen (dann einzurichtenden StorageAccount) zu aktivieren, um noch mehr Details zu seinen Sicherungen zu erhalten.

Ein Restore der Datenbanken ist mit wenigen Klicks über das Portal zu realisieren, hierbei stehen dann auch weitere Optionen zur Verfügung, wie man sie aus dem normalen SQL-Restore kennt (z.B. File-Relocation, Overwrite oder Database-Rename).

Fazit zu Azure Backup für SQL Server VMs

Ich persönlich finde diese neue Extension super, wenn man seine SQL Server in einer Azure VM nativ sichern möchte/muss und eine (!!!) zentrale Anlaufstelle für Backups in Azure mit Monitoring, Alerting und Config-Management haben möchte!!!

Das Azure Meetup Hamburg im Mai 2019

Auch im Mai 2019 trifft sich das Azure Meetup Hamburg wieder für einen interessanten und spannenden Abend mit der Community. Diesmal kommt der Vortrag aus der Hamburger Community selber… Benjamin Konrad wird uns über seine praktischen Erfahrungen beim Erstellen von Power BI Architekturen und dem Verknüpfen von Datenquellen, sowie dem Erstellen von Berichten näher bringen.

Anmelden könnt ihr euch – wie gewohnt – natürlich kostenfrei über die Meetup-Seite des Azure Meetups in Hamburg
Hier geht es direkt zu unserer Mai Veranstaltung

Vielen Dank an Benjamin Konrad für seine Bereitschaft selber etwas vorzutragen, eben „aus der Community für die Community“!

Wie mit Azure starten – interessante Einstiegsmöglichkeiten

Heute kam hier die Frage von einem Kollegen auf, nach wie kann ich mich wo informieren, womit sollte ich anfangen, wenn ich mich zukünftig mit Azure auseinandersetzen möchte/soll/muss. Da ich ihm dazu einen nicht allzu kurzen Text geschrieben habe, dachte ich mir, dass das für meine Blog-Leser auch interessant sein könnte und möchte den Text hier in einer etwas ausführlicheren Form veröffentlichen. 😉

Erstmal muss man sich über die Fülle an Möglichkeiten Gedanken machen, was es da nicht alles für verschiedene Produkte, Services, Plattformen, Hersteller, Anbieter und vielem mehr gibt… Also was möchte/soll man machen… meist kommt man ja mit einer Public Cloud aus geschäftlichen Gründen in Berührung, wie bei meinem Kollegen. Beispielsweise der Web-Entwickler, der wird sich eher damit beschäftigen mit welchen Services in welcher Ausprägung und vor allem wie seine Webseite/-Applikation dem Kunden/Anwender zur Verfügung stellen kann. Der Business-Intelligence (BI) Berater wird sich vielleicht eher mit den Möglichkeiten einer Dynamics-Umgebung und wie er diese Daten worüber wohin wie am Besten dem Management präsentieren kann.

Nehmen wir meinen Kollegen, der bisher sich mit dem SQL Server in allen Ausprägungen und Fazetten on-premise beschäftigt hat… der fragte mich:

Hallo Björn,
[...]
wollte bei Dir mal nachfragen
was für Literatur / Links Du mir
zum Thema MSSQL und Azure empfehlen kannst
[...]

Azure ist einfach sehr vielfältig 😉

In diesem Fall kann man natürlich erst einmal eingrenzen, dass er sich mit Datenbanken beschäftigen möchte und zwar in der Hauptsache mit der Azure SQL Database und vielleicht noch dem Azure SQL Datawarehouse, sowie allen notwendigen Services wie zum Beispiel Netzwerke. Hier muss jeder für sich entscheiden, welcher Lerntyp er ist… erst lesen/anschauen und dann machen oder erst einmal durch ausprobieren wie weit man ohne Hilfe kommt, um dann nachzulesen. Ich bin eher der Typ ausprobieren und dann lesen, wobei bei neuen Haushaltsgeräten… 😉
Ich schätze meinen Kollegen eher als den „Ausprobierer“ ein…

Idealerweise fängt man klein an bzw dort an, was man unter Umständen schon von seiner bisherigen Tätigkeit kennt. Also hier eine einfache virtuelle Maschine mit Windows Server und einem SQL Server… diese kann man erst einmal über ein Tutorial aus der Microsoft-Dokumentation erstellen, entweder über das Azure-Portal oder mittels Powershell. Hierzu stellt Microsoft bzw die Community entsprechende Dokumentationen (Schritt-für-Schritt-Anweisungen) zur Verfügung, anhand derer man sehr einfach die ersten Erfolge sehen kann.

Beispielsweise => Bereitstellen eines virtuellen Windows-Computers mit SQL Server im Azure-Portal

Praktischer Start mit Azure

Wenn man aber nun – wie oben vorgeschlagen – mit der praktischen Arbeit beginnen möchte, wird man schnell feststellen, dass man einen Account für Azure benötigt… dies geht für die ersten privaten Gehversuche am einfachsten mit einem kostenfreien Azure-Account. Diesen kann man sich ganz schnell selber erstellen und erhält darüber hinaus auch noch viele kostengünstige Angebote für Azure Services und teilweise sogar bestimmte Services dauerhaft kostenfrei. So kann man die ersten Übungen bzw das gerade gelernte selber – ohne großes Risiko – ausprobieren und antesten.

So stellt Microsoft zum Beispiel – über diesen „Free-Account“ – jedem Nutzer eine Azure SQL Database, virtuelle Windows und Linux-Maschinen oder auch eine Azure Cosmos DB für die ersten 12 Monate kostenfrei zur Verfügung! Weitere Services wie Azure Data Factory, der Azure Kubernetes Service oder Cognitive Services sind in begrenztem Umfang dauerhaft kostenfrei verfügbar. Reinschauen lohnt sich auf jeden Fall !!!

Vertiefung des Azure KnowHows

Wenn man dann seine erste Maschine deployed hat und auch schon ein wenig in der Dokumentation gestöbert hat, so kann man sich später über das vielfältige Service-Angebot von Microsoft informieren, in dem man sich die kostenfreie Schulungen auf Microsoft Learn anschaut! Hier kann man sich die entsprechenden Produkte bzw Lernziele aussuchen und einfach loslegen…

Videos, Dokumentationen, Schritt-für-Schritt-Anleitungen und Demos / Labs bringen einem die Produkte sowie Services theoretisch näher. So erhält man einen ersten Einblick in die Vorgehensweise und Möglichkeiten der Microsoft Public Cloud Azure. Im Endeffekt hilft aber nichts anderes als wirklich ausprobieren und zu testen, hierzu müsste man sich dann entweder selber oder mit dem Kunden entsprechende Test-Szenarien überlegen und testen, testen, testen…

Auch in der Public Cloud bleiben die alten „Weisheiten“ meist gültig, auch wenn man gewissen alte Denkstrukturen überwinden muss und auf den ersten Blick vieles unübersichtlich und teuer wirkt! Hier heißt es dann weiter bzw um die Ecke denken, um dem Kunden entsprechende Angebote und Solutions präsentieren zu können. Aber für einen ersten Einstieg sind die oben genannten Plattformen auf jeden Fall sehr hilfreich!

Viel Spaß beim Lernen und Ausprobieren!