Incident – Intermittent NFS Storage Instability

Description
An intermittent instability was detected on the san12 storage infrastructure, resulting in severe latency and temporary freezes when accessing data over NFS.
The issue occurred randomly, with storage access sometimes behaving normally and at other times experiencing delays lasting several minutes.

Root cause
The incident was caused by abnormal behavior on a single disk within a ZFS mirrored vdev.
This disk exhibited extreme I/O latency, temporarily blocking storage operations at the server level and preventing timely NFS responses to client requests.

Although the ZFS pool remained online and data integrity was preserved, these I/O stalls caused visible service disruptions for systems relying on NFS storage.

Corrective actions
Identification of the faulty disk responsible for the I/O stalls

Preventive offlining of the affected disk (service continuity ensured by ZFS redundancy)

Immediate stabilization of NFS access

Enhanced monitoring of the storage subsystem

Planned replacement of the faulty disk

Current status
All services are operational and stable
No data loss occurred thanks to the redundant storage configuration.

Next steps
Permanent replacement of the affected disk
Scheduled reboot of the storage server to apply NFS performance optimizations
Additional monitoring to detect early signs of storage degradation

We apologize for the inconvenience caused and thank you for your understanding.

Related servers / services

NFS storage access
File access and backup operations for some hosted services

[Maintenance planifiée] Migration d’un serveur d’hébergement web

## Résumé

Dans le cadre de l’amélioration continue de notre infrastructure, nous allons **migrer un serveur d’hébergement web complet vers un nouveau serveur** plus moderne et plus redondant.

Cette opération vise à **renforcer la sécurité**, **augmenter la redondance**, **bénéficier de versions plus récentes de l’infrastructure système** et **améliorer les performances globales** (CPU, stockage, réseau).

> ⚠️ **Important :**
> Il ne s’agit **pas** de mises à jour de vos sites web ou de vos CMS.
> Aucun changement ne sera apporté au code ou au contenu de vos sites : il s’agit uniquement d’un **déplacement de vos données d’un serveur à un autre**.

La majorité des sites sera migrée **à chaud**, avec de la synchronisation en continu. De **très courtes coupures** peuvent toutefois se produire au moment des bascules finales.

---

## Détail des travaux techniques

### Migration du serveur d’hébergement web

- Déplacement complet de l’environnement d’hébergement d’un serveur vers un nouveau serveur :
- Nouveaux hyperviseurs et nœuds plus récents (CPU de dernière génération, plus de RAM)
- Stockage **SSD / NVMe** redondé (cluster, RAID, réplication)
- Adaptation des profils de ressources pour absorber la charge (CPU / RAM / I/O)
- Améliorations de la couche système (sans impact sur vos fichiers) :
- Migration vers une **plateforme système plus récente** (distribution Linux et noyau plus récents)
- Optimisation des paramètres systèmes pour la gestion des connexions simultanées et des I/O disque
- Intégration renforcée au système de supervision et d’alertes Boxis

### Sécurité et redondance

- Renforcement des politiques de sécurité au niveau du serveur :
- Durcissement de la configuration SSH, firewall, et services systèmes
- Segmentation réseau renforcée entre les différents rôles (web, mail, bases de données, management)
- Mise en place ou amélioration de la **redondance** :
- Intégration au cluster de stockage / backup
- Amélioration des mécanismes de restauration et de reprise en cas d’incident

### Bases de données

- Synchronisation des bases de données entre l’ancien et le nouveau serveur :
- Mise en place d’une réplication (ou synchronisation) avant la bascule
- Bascule contrôlée vers le nouveau serveur à la fin de la fenêtre
- Contrôles :
- Vérification de l’intégrité des données après migration
- Tests de connectivité et de performance

> Vos schémas, tables et contenus de bases de données ne sont **pas modifiés** par Boxis.
> Nous déplaçons uniquement vos données vers un nouveau backend.

### Services e-mail

- Migration des comptes et boîtes aux lettres liés au serveur concerné :
- Synchronisation IMAP des boîtes (messages, dossiers, états de lecture, etc.)
- Bascule des files SMTP (e-mails en cours de livraison)
- Pendant la fenêtre :
- De légers retards de réception/envoi peuvent avoir lieu lors des bascules
- Les messages seront conservés et rejoués après reprise normale des services

---

## Impact prévu

- **Sites web :**
- Migration principalement **à chaud**, avec synchronisation des données du serveur source vers le serveur cible.
- De **très courtes indisponibilités** (quelques secondes à quelques minutes) peuvent survenir au moment :
- de la bascule finale (changement de serveur),
- du redémarrage des services web sur la nouvelle machine.
- **E-mails :**
- Les services e-mail associés au serveur migré peuvent connaître de légers ralentissements ou retards.
- Aucun e-mail ne sera volontairement supprimé ; les files d’attente seront traitées après la bascule.

> Aucune modification de contenu ne sera faite sur vos sites ou vos boîtes mail.
> Il s’agit uniquement d’une **migration d’infrastructure**.

---

## Recommandations pour les clients

- Si possible, évitez les opérations critiques pendant le créneau de maintenance (transactions sensibles, mises en production, etc.).
- Après la maintenance (après **04:00**), nous vous recommandons de :
- vérifier l’accès à vos sites web,
- tester vos formulaires/contact/back-office,
- vérifier l’envoi/la réception de vos e-mails principaux.

En cas d’anomalie, merci d’ouvrir un ticket depuis votre espace client Boxis avec :
- le ou les noms de domaine concernés,
- la description du problème,
- l’heure approximative,
- idéalement une capture d’écran du message d’erreur.

---

## Suivi de la maintenance

- Un message sera publié au **démarrage** de la maintenance.
- Des mises à jour pourront être postées en cours d’intervention en cas de besoin.
- Un message de **clôture** sera publié une fois la migration terminée et vérifiée par nos équipes techniques.

Merci pour votre compréhension et votre confiance.

Related servers / services

Cluster 57 incident notification

Websites hosted on Cluster57 have currently network connectivities issues.

Related servers / services

da057.web.boxis.net