[Mail] Exchange hébergé (SE) — incident résolu

Investigation en cours. Après la maintenance Exchange SE de samedi soir, plusieurs signalements utilisateurs depuis 08:00 CEST ce matin. Nos équipes vérifient l’état du cluster et des services (DAG, transport, accès clients). Prochaine mise à jour dès que possible.

Mise à jour — investigation en cours. Nos équipes travaillent toujours sur les instabilités Exchange SE. Nous cherchons activement des solutions pour stabiliser les serveurs concernés.

Cette nuit, des changements techniques ont été testés sur plusieurs serveurs, dont des rollbacks partiels de la maintenance planifiée — des instabilités intermittentes persistent pour l’instant.

Les premières analyses orientent vers une instabilité au niveau hôte (services système / ré-énumération matérielle après reboot), Exchange n’étant pas la cause principale. Comportement aléatoire ; nous n’avons pas encore reproduit la cause exacte des crashs.

Rassurance : en cas d’instabilité, les bases Exchange sont démontées et mises en sécurité automatiquement — vos données sont protégées le temps du rétablissement. Prochaine mise à jour dès que possible.

Mise à jour. Nous avons entièrement rollback les changements de la maintenance planifiée de samedi soir sur les hôtes Exchange SE concernés. Cela n’a pas résolu le problème : des perturbations intermittentes persistent, nous n’avons pas encore identifié la cause exacte ni mis en place de correction durable.

Nos équipes restent mobilisées — vérifications, tests et analyses se poursuivent sur l’instabilité au niveau hôte. Comportement toujours aléatoire, non reproduit à la demande pour l’instant.

Exchange est impacté en conséquence de cette instabilité hôte, sans défaut Exchange identifié. Le cas échéant, les bases sont automatiquement mises en sécurité (démontées). Nous sommes toujours dessus — prochaine mise à jour à suivre.

Mise à jour. Les vérifications et analyses sur les hôtes Exchange SE reprendront à partir de 21:00 CEST (19:00 UTC) ce soir. Périmètre : contrôles santé hôte, validation chemins stockage/accès, revue état DAG/transport/services, corrélation des journaux liés aux instabilités constatées.

Incident toujours ouvert — cause racine non confirmée. Mise à jour après ce cycle de vérification.

Mise à jour. Après plusieurs heures de travail, nous avons testé plusieurs correctifs sur les hôtes Exchange SE concernés. Malheureusement, un serveur Windows Server 2025 Core a de nouveau crashé — l’instabilité au niveau hôte persiste.

En parallèle, nous installons un nouvel environnement propre : 12 nouveaux serveurs Exchange SE sont en cours de préparation. Nous vous tiendrons informés de l’avancement.

Situation actuelle : la plateforme existante reste fonctionnelle, mais des perturbations aléatoires peuvent survenir à tout moment jusqu’à stabilisation ou bascule. Les bases restent mises en sécurité automatiquement si nécessaire.

Mise à jour — travaux en cours. Nos équipes poursuivent activement le traitement de l’incident Exchange SE : troubleshooting hôte, surveillance de la plateforme existante et préparation du nouvel environnement (12 serveurs). Aucune correction définitive pour l’instant — des perturbations intermittentes restent possibles. Nous vous tiendrons informés.

Mise à jour — incident bases de données (cette nuit). Suite aux instabilités hôte toujours en cours, plusieurs bases Exchange ont été impactées cette nuit et ont nécessité des réparations manuelles après démontage non planifié.

Nos ingénieurs ont lancé des procédures de réparation d’intégrité sur les bases concernées (ex. DBSE04-003 — eseutil /p en cours). Ces opérations sont très longues et ne peuvent être accélérées sans risque supplémentaire. Travaux toujours en cours.

La plateforme existante reste partiellement disponible selon les cas ; l’impact peut varier selon boîte aux lettres / base. Les travaux sur le nouvel environnement (12 serveurs Exchange SE) se poursuivent en parallèle.

Nous sommes sincèrement désolés de cette situation. Nos équipes traitent ces instabilités sans interruption depuis plusieurs jours, y compris cette nuit, pour rétablir le service en toute sécurité. Nous vous tiendrons informés.

MàJ — recovery DBSE & couche stockage. Plusieurs passes de réparation ont été menées sur les bases DBSE impactées (soft recovery / eseutil selon store). À ce stade, environ 75 à 80 % des bases sont remontées avec succès ; le solde est encore en recovery active.

Pression stockage : les SAN absorbent un I/O très élevé sur le périmètre Exchange, allongeant les fenêtres de réparation. En parallèle, panne disque physique sur SAN12 (GEN01) ; les pools ZFS concernés sont en reconstruction, ce qui ralentit fortement les réparations DBSE restantes et la réactivité globale hôte/stockage.

Incident toujours ouvert. Poursuite recovery Exchange + suivi rebuild/resilver ZFS. Prochaine MàJ au prochain jalon.

MàJ — stockage & recovery DBSE. SAN12 (GEN01) : resilver/rebuild ZFS terminé — état du pool revenu dans les paramètres attendus ; surveillance renforcée des disques physiques et de l’I/O hôte maintenue.

Côté Exchange, une base DBSE supplémentaire a été restaurée avec succès, remontée (mount) et les boîtes aux lettres hébergées dessus ont été réactivées. Passage à la base suivante — traitement pas à pas, avec contrôles prudents entre chaque phase.

Recovery global toujours autour de 75–80 % des stores en ligne ; le reste est en file. Incident ouvert — avancement prudent sous monitoring hôtes, chemins SAN et télémétrie disques.

Mise à jour. Nos équipes poursuivent activement la restauration des bases DBSE — recovery pas à pas, avec surveillance continue des hôtes, chemins SAN et disques. Incident toujours ouvert. Merci pour votre patience.

MàJ — toujours en cours. Lors de la réparation de DBSE04-006, un nouveau crash Windows est survenu sur l’hôte, interrompant la fenêtre de recovery de cette base.

Afin de limiter l’impact sur les bases déjà actives, nous migrons l’EDB concernée vers un autre nœud du cluster et reprendrons la réparation/mount depuis cette machine, sous surveillance renforcée hôte & stockage.

Incident toujours ouvert. Restauration DBSE poursuivie sur les autres stores — pas à pas. Merci pour votre patience.

MàJ — 2e jour de recovery intensive. Après deux jours de restauration DBSE soutenue — en parallèle de nouvelles instabilités Windows et d’un I/O SAN très élevé — toutes les autres bases ont été remises en service.

DBSE04-006 reste le point bloquant : les contrôles signalent une corruption sur la copie principale et, à ce stade, sur les deux autres copies également. Nous ne lâchons pas : tentatives de recovery en cours, avec l’objectif de récupérer au moins une des trois copies par les moyens sûrs disponibles.

Situation exigeante pour nos équipes ; nous tenons le cap et restons mobilisés. Incident ouvert. Merci pour votre patience — prochaine MàJ dès qu’il y aura du concret.

MàJ — jalon majeur de recovery. Grâce à un snapshot ZFS valide, nos équipes ont récupéré une copie saine de DBSE04-006 ; l’ensemble des bases Exchange est à nouveau up.

Nous ne pouvons pas encore affirmer que les Windows Server ne subiront plus de crash — surveillance renforcée en place. La maintenance / mise à jour de samedi soir a fortement déstabilisé le parc Windows Server 2025 Core concerné ; nous sommes sincèrement navrés des conséquences subies.

Plan en cours : 9 nouveaux serveurs Exchange SE en préparation ; copies neuves et saines, puis transfert des boîtes aux lettres une à une, avec une approche prudente et minutieuse. Nous avançons — incident toujours ouvert jusqu’aux jalons de stabilisation/migration. Merci pour votre patience.

MàJ. Nos équipes poursuivent activement la préparation et les tests du nouvel environnement Exchange SE — provisionnement, validation de configuration et tests pré-migration en cours sur les 9 serveurs de remplacement. Toutes les bases restent up sur la plateforme actuelle ; surveillance hôte/stockage renforcée maintenue.

Le transfert des boîtes aux lettres une à une suivra une fois le nouvel environnement validé selon nos critères de readiness. Incident toujours ouvert. Merci pour votre patience.

MàJ. Nos équipes ont travaillé tout le week-end sur le programme de stabilisation Exchange SE. Le nouvel environnement propre est prêt et opérationnel.

Les migrations de boîtes aux lettres sont en cours — bascules une à une, avec contrôles avant/après sur chaque lot. La plateforme existante reste sous surveillance renforcée hôte & stockage.

Incident toujours ouvert jusqu’à validation des jalons de migration. Merci pour votre patience — prochaine MàJ au fil des lots migrés.

MàJ — jalon de stabilisation. La plateforme Exchange SE est stabilisée depuis aujourd’hui (10 juin 2026) après les opérations de recovery des derniers jours.

Les migrations de boîtes aux lettres vers le nouvel environnement se poursuivent — bascules une à une avec validation avant/après. Les hôtes legacy restent sous surveillance renforcée pendant la transition.

MàJ — migration terminée. L’ensemble des transferts de boîtes aux lettres vers le nouvel environnement Exchange SE a été achevé aujourd’hui (30 juin 2026).

Le nouveau périmètre est en production ; l’ancienne plateforme est sortie du service actif. Surveillance de routine et validation post-migration en cours.

CLÔTURÉ — service rétabli. Suite aux instabilités après la maintenance de samedi soir, les opérations de recovery et de migration sont terminées.

Plateforme stabilisée depuis le 10 juin 2026. Les transferts de boîtes aux lettres vers le nouvel environnement ont été achevés le 30 juin 2026. L’ensemble des bases DBSE est en ligne ; les hôtes legacy sont sortis du chemin de production messagerie.

Surveillance de routine maintenue sur le nouveau périmètre. Merci pour votre patience tout au long de cet incident prolongé.