Blue Mind Forum

Forum about Blue Mind Software

You are not logged in.

Announcement

Bonjour, avant de poster, merci de vérifier que vous avez respecté les pré-requis de l'installation et consultez notre documentation : https://forge.bluemind.net/confluence/display/BM35/ !
Vous pouvez en particulier trouver des réponses aux problèmes les plus courants dans notre FAQ ou encore la base de connaissance.

Hi, before posting on the forum, please check that you followed installation prerequisites and get a look to our documentation space : https://forge.bluemind.net/confluence/display/BM35/ !

#1 2019-05-27 10:57:37

dani
Member
From: Bordeaux
Registered: 2018-10-13
Posts: 62
Website

Sauvegarde vs link-dest & durée des sauvegardes

Bonjour à tous.

Je réfléchie actuellement à comment gérer au mieux mes sauvegardes bluemind. J'ai commencé par faire les sauvegardes DataProtect (dans /var/backups) sur un disque local. Et avec un outil dédié (BackupPC, qui fonctionne avec du rsync) pour externaliser /var/backups et conserver un historique. Le problème est que ces externalisations ne sont pas gérables d'un point de vu perf. Dans /var/backups/bluemind, je conserve les 3 dernières (histoire de m'éviter une restauration en 2 temps si je dois restaurer des données du vendredi un lundi). Du coup, il y a une quantité gigantesque de hardlinks, et la sauvegarde de /var/backups prend ~15h (alors que la sauvegarde des données d'origine, dans /var/spool/imap ne prend que ~30 min, avec ce même outil)

Du coup, j'essaie de comparer avec un NFS monté sur /var/backups/ mais là, c'est la tâche DataProtect qui prend beaucoup de temps (passée de environ 1h30 quand /var/backups était local à environ 8h maintenant que c'est du NFS). Le lien entre le serveur Bluemind et le serveur NFS n'est pas des plus rapides (c'est une externalisation, donc forcément, site distant), mais reste très correct pour un site distant : entre 200 et 300Mbps, avec une latence de l'ordre de 2ms. La majeur partie du temps de sauvegarde ne sature pas la BP de toute façon, c'est la création des hardlinks, avec l'option link-dest de rsync. C'est donc plus affecté par la latence que la BP, et il me semble compliqué d'avoir un meilleur lien entre 2 sites.

Il s'agit d'une petite installation (~2.7 millions de mails), du coup, je me demande comment les autres font pour gérer ça.

Une des solutions pourrait peut être être de désactiver l'option link-dest de rsync (mon stockage utilise VDO et se charge donc déjà de la dédup des données). Mais comment supprimer l'option pour tester ça ? Et est-ce qu'il y aurait des effets de bord ?


Firewall Services: la sécurité des réseaux

Offline

#2 2019-05-31 08:02:20

aaujon
Member
Registered: 2016-01-07
Posts: 289

Re: Sauvegarde vs link-dest & durée des sauvegardes

Bonjour,

Pour tester le backup vers ton NFS sans link-dest, je te conseille de lancer directement le rsync à la main, les options envoyées à rsync étant directement dans le code Java, ce n'est pas facile de les modifier. Ce test serait en tout cas intéressant pour comparer l'utilisation de link-dest vs VDO.
Est ce que la différence de temps entre ton disque locale et ton NFS en VDO ne vient justement de VDO ? Si tu as une volume sans VDO le test pourrait également être intéressant.

Offline

#3 2019-06-10 10:08:33

dani
Member
From: Bordeaux
Registered: 2018-10-13
Posts: 62
Website

Re: Sauvegarde vs link-dest & durée des sauvegardes

Alors, voilà quelques chiffres sur les différentes durées de sauvegarde après avoir testé dans des configurations différentes (les valeurs sont arrondies après 3 sauvegardes dans chaque configuration, je n'affiche pas des moyennes exactes, mais des arrondies, qui donnent un bon ordre de grandeur)

  • Sur un disque local, sans VDO : ~4200 secondes

  • NFS, backend avec VDO, monté en sync : ~90 000 secondes

  • NFS, backend avec VDO, monté en async : ~28 000 secondes

  • NFS, backend sans VDO, monté en async : ~26 000 secondes

Notes:

  • pas d'écart significatif entre NFS v3 ouv4 (la plupart des tests ont donc été fait en v4)

  • NFS sans l'option async est absolument inutilisable

  • VDO sur le backend (serveur NFS) a un impact faible sur la performance

  • En mettant VDO de côté, le simple fait de passer en NFS, fait passer la durée de sauvegarde de un peu plus de 1h à un peu plus de 7h

  • Je n'ai pas testé VDO en local, mais je m'attends à avoir des chiffres <6000

  • De ce que j'ai pu observer, une très grande partie du temps est passé par rsync à re-créer les hardlinks vers le jeux précédent, ce qui fait énormément d'aller/retour, et si le FS est distant (dans mon cas NFS, mais je pense que n'importe quel FS réseau présenterait les mêmes problèmes), alors le temps passé explose

  • VDO se chargeant de la dédup au niveau block, il serait intéressant de pouvoir désactiver l'option link-dest pour vérifier cette hypothèse


Firewall Services: la sécurité des réseaux

Offline

Board footer

Powered by FluxBB