[Mail] Hosted Exchange (SE) — Vorfall behoben

Timeline Updates

1. Untersuchung läuft. Nach der Exchange-SE-Wartung am Samstagabend haben wir ab ca. 08:00 CEST mehrere Meldungen erhalten. Teams prüfen Cluster- und Dienstzustand (DAG, Transport, Client-Zugang). Nächste Meldung sobald verfügbar.

   May 31, 2026 at 16:03 (UTC+02:00)

2. Update — Untersuchung läuft weiter. Unsere Teams arbeiten weiterhin an der Exchange-SE-Instabilität. Wir suchen aktiv nach Lösungen, um die betroffenen Server zu stabilisieren.

   In der Nacht wurden technische Änderungen auf mehreren Servern vorgenommen, teils Rollback der geplanten Wartung — zeitweise Probleme bestehen weiterhin.

   Erste Analyse deutet auf Instabilität auf Host-Ebene (Systemdienste / Hardware-Neuerkennung nach Reboot), nicht auf einen Exchange-Defekt. Verhalten sporadisch; exakte Crash-Ursache noch nicht reproduzierbar.

   Hinweis: Bei Instabilität werden Exchange-Datenbanken automatisch ausgehängt und geschützt — Ihre Daten bleiben gesichert. Weitere Meldungen folgen.

   Jun 1, 2026 at 12:06 (UTC+02:00)

3. Update. Die Änderungen der geplanten Wartung vom Samstagabend wurden auf den betroffenen Exchange-SE-Hosts vollständig zurückgesetzt. Das Problem ist damit nicht behoben: zeitweise Beeinträchtigungen bestehen weiter, die genaue Ursache ist noch nicht gefunden, ein dauerhafter Fix steht noch aus.

   Unsere Teams sind weiterhin aktiv im Einsatz — laufende Prüfungen, Tests und Analysen der Host-Instabilität. Verhalten sporadisch, derzeit nicht gezielt reproduzierbar.

   Exchange ist betroffen durch diese Host-Instabilität, ohne Exchange-spezifischen Defekt. Bei Instabilität werden Datenbanken automatisch geschützt (ausgehängt). Wir arbeiten weiter daran — nächste Meldung folgt.

   Jun 1, 2026 at 12:09 (UTC+02:00)

4. Update. Prüfungen und Troubleshooting an den Exchange-SE-Hosts werden ab 21:00 CEST (19:00 UTC) heute Abend fortgesetzt. Umfang: Host-Checks, Storage/Access-Pfade, DAG/Transport/Service-Status, Log-Korrelation bisheriger Instabilitäten.

   Incident weiterhin offen — Ursache noch nicht bestätigt. Meldung nach diesem Prüfzyklus.

   Jun 1, 2026 at 19:13 (UTC+02:00)

5. Update. In den letzten Stunden wurden mehrere Korrekturmaßnahmen auf den betroffenen Exchange-SE-Hosts umgesetzt. Leider ist ein Windows Server 2025 Core-Knoten erneut abgestürzt — die Host-Instabilität besteht weiter.

   Parallel bauen wir eine neue saubere Umgebung auf: 12 neue Exchange-SE-Server werden derzeit vorbereitet. Wir halten Sie auf dem Laufenden.

   Aktuell: Die bestehende Plattform bleibt betriebsbereit, zeitweise Störungen sind jedoch jederzeit möglich, bis Stabilisierung oder Migration. Datenbanken werden bei Bedarf automatisch geschützt.

   Jun 2, 2026 at 11:27 (UTC+02:00)

6. Update — Arbeit läuft. Unsere Teams arbeiten weiter aktiv am Exchange-SE-Vorfall: laufendes Host-Troubleshooting, Überwachung der bestehenden Plattform und Vorbereitung der neuen Umgebung (12 Server). Noch kein dauerhafter Fix — zeitweise Störungen möglich. Wir halten Sie auf dem Laufenden.

   Jun 2, 2026 at 19:33 (UTC+02:00)

7. Update — Datenbank-Vorfall (über Nacht). Aufgrund der anhaltenden Host-Instabilität wurden mehrere Exchange-Datenbanken in der Nacht betroffen und benötigten nach ungeplantem Dismount manuelle Wiederherstellung/Reparatur.

   Unsere Engineers haben Integritäts-Reparaturen gestartet (z. B. DBSE04-003 — eseutil /p läuft). Diese Vorgänge dauern sehr lange und lassen sich nicht beschleunigen, ohne zusätzliches Risiko. Arbeiten laufen noch.

   Die bestehende Plattform bleibt wo möglich verfügbar; Auswirkungen je Postfach/Datenbank möglich. Parallel: neue Umgebung (12 Exchange-SE-Server).

   Wir bedauern die Situation zutiefst. Unsere Teams arbeiten seit mehreren Tagen durchgehend, auch nachts, an einer sicheren Wiederherstellung. Weitere Meldungen folgen.

   Jun 3, 2026 at 04:10 (UTC+02:00)

8. Update — DBSE-Recovery & Storage. Mehrfache Reparatur-/Replay-Zyklen auf betroffenen DBSE-Stores (Soft Recovery / eseutil je nach Store). Stand jetzt ca. 75–80% der Datenbanken erfolgreich wieder online; Rest in aktiver Wiederherstellung.

   Storage: SAN-I/O stark erhöht im Exchange-Umfeld. Parallel Physical-Disk-Ausfall auf SAN12 (GEN01); betroffene ZFS-Pools rebuilden — deutliche Verlangsamung von DBSE-Repairs und Host/Storage.

   Incident offen. Recovery + Pool-Rebuild-Monitoring. Nächste Meldung nach Meilenstein.

   Jun 3, 2026 at 11:32 (UTC+02:00)

9. Update — Storage & DBSE-Recovery. SAN12 (GEN01): ZFS-Resilver/Rebuild abgeschlossen — Pool wieder im Soll; verstärktes Monitoring von Disks und Host-I/O.

   Exchange: eine weitere DBSE-Datenbank erfolgreich wiederhergestellt, Store gemountet, Postfächer reaktiviert. Nächster Recovery-Zyklus startet — schrittweise mit konservativen Checks.

   Gesamtstand weiterhin ca. 75–80% online; Rest in Queue. Incident offen — vorsichtiges Vorgehen unter Beobachtung von Hosts, SAN und Disk-Telemetrie.

   Jun 4, 2026 at 00:22 (UTC+02:00)

10. Update. Unsere Teams arbeiten weiter aktiv an der Wiederherstellung der DBSE-Datenbanken — Recovery schrittweise unter Beobachtung von Hosts, SAN und Disks. Incident weiterhin offen. Vielen Dank für Ihre Geduld.

    Jun 4, 2026 at 03:31 (UTC+02:00)

11. Update — weiterhin in Bearbeitung. Während der Reparatur von DBSE04-006 erneuter harter Windows-Absturz auf dem Host — Recovery-Fenster für diesen Store unterbrochen.

    Zum Schutz bereits online stehender Datenbanken wird die EDB für diesen Recovery-Vorgang auf einen anderen Cluster-Knoten verschoben; Reparatur/Mount wird dort unter engem Host-/Storage-Monitoring fortgesetzt.

    Incident offen. DBSE-Recovery auf weiteren Stores schrittweise. Danke für Ihre Geduld.

    Jun 4, 2026 at 15:43 (UTC+02:00)

12. Update — Tag 2 intensiver Recovery. Nach zwei Tagen DBSE-Wiederherstellung — parallel zu Windows-Host-Instabilität und sehr hohem SAN-I/O — sind alle übrigen Datenbanken wieder online.

    DBSE04-006 ausstehend: Prüfungen zeigen Korruption der Primary und derzeit auch beider weiteren Kopien. Wir arbeiten weiter und versuchen, mindestens eine der drei Kopien sicher zu retten.

    Anspruchsvolle Lage für unsere Teams — wir bleiben voll engagiert. Incident offen. Danke für Ihre Geduld — Meldung bei Fortschritt.

    Jun 4, 2026 at 19:09 (UTC+02:00)

13. Update — wichtiger Recovery-Meilenstein. Über einen gültigen ZFS-Snapshot konnte eine saubere Kopie von DBSE04-006 wiederhergestellt werden; alle Exchange-Datenbanken sind online.

    Ob Windows Server erneut abstürzen, können wir noch nicht ausschließen — verstärktes Monitoring läuft. Die Wartung/Aktualisierung am Samstagabend hat die betroffenen Windows Server 2025 Core-Hosts stark destabilisiert; wir bedauern die Auswirkungen.

    Plan: 9 neue Exchange-SE-Server in Vorbereitung; neue, gesunde DB-Kopien, Mailbox-Migration Schritt für Schritt. Vorsichtiges Vorgehen — Incident offen bis Stabilisierung/Migration. Danke für Ihre Geduld.

    Jun 4, 2026 at 20:37 (UTC+02:00)

14. Update. Unsere Teams arbeiten weiter am neuen Exchange-SE-Umfeld — Bereitstellung, Konfigurationsprüfung und Pre-Migration-Tests auf den 9 Ersatzservern laufen. Alle Datenbanken online auf der bestehenden Plattform; verstärktes Monitoring aktiv.

    Mailbox-Migration Schritt für Schritt folgt nach bestandenen Readiness-Checks. Incident offen. Danke für Ihre Geduld.

    Jun 6, 2026 at 12:03 (UTC+02:00)

15. Update. Unsere Teams haben das gesamte Wochenende am Exchange-SE-Stabilisierungsprogramm gearbeitet. Die neue saubere Umgebung ist bereit.

    Mailbox-Migrationen laufen — Cutovers schrittweise mit Pre-/Post-Checks. Legacy-Plattform weiter überwacht; verstärktes Host-/Storage-Monitoring parallel.

    Incident offen bis Migrations-Meilensteine erreicht. Danke für Ihre Geduld — Meldung nach validierten Batches.

    Jun 9, 2026 at 14:45 (UTC+02:00)

16. Update — Stabilisierungs-Meilenstein. Die Exchange-SE-Plattform ist seit heute (10.06.2026) stabil.

    Mailbox-Migrationen ins neue Umfeld laufen weiter — Cutovers schrittweise mit Validierung. Legacy-Hosts unter verstärktem Monitoring.

    Jun 10, 2026 at 12:00 (UTC+02:00)

17. Update — Migration abgeschlossen. Alle Mailbox-Transfers ins neue Exchange-SE-Umfeld heute (30.06.2026) abgeschlossen.

    Neues Footprint in Produktion; Legacy-Plattform aus dem aktiven Pfad. Routinemonitoring und Validierung laufen.

    Jun 30, 2026 at 17:00 (UTC+02:00)

18. GESCHLOSSEN — Dienst wiederhergestellt. Nach der Instabilität infolge der Wartung am Samstagabend sind Recovery und Migration abgeschlossen.

    Plattform stabil seit 10.06.2026. Mailbox-Migration ins neue Umfeld abgeschlossen am 30.06.2026. Alle DBSE-Stores online; Legacy-Hosts aus dem aktiven Mail-Pfad entfernt.

    Routinemonitoring auf dem neuen Footprint. Danke für Ihre Geduld.

    Jun 30, 2026 at 23:59 (UTC+02:00)