Vers l'infini… et supprimer

En 1998, une catastrophe a frappé Pixar. Une seule commande mal tapée — rm -rf / — a commencé à effacer Toy Story 2 de l'existence. Personnage par personnage, scène par scène, le film qui avait pris un an à construire a disparu en quelques secondes. L'équipe a regardé avec incrédulité le chapeau de Woody, les ailes de Buzz et des décors entiers disparaître sous leurs yeux. Lorsque les ingénieurs se sont précipités pour restaurer à partir des sauvegardes, ils ont découvert quelque chose de pire — le système de sauvegarde avait silencieusement échoué des semaines plus tôt. En tant que professionnels de l'informatique, nous avons tous déjà vécu cela, mais que pouvons-nous apprendre de cette expérience pour permettre à Buzz d'atteindre son vaisseau à temps ?

La fête d'Andy

Cette "mémoire fondamentale" a eu lieu en 1998, comme le rappelle le cofondateur de Pixar Ed Catmull dans son livre intitulé "Creativity, Inc.". L'histoire commence avec un malheureux employé anonyme de Pixar qui effectuait un nettoyage de fichiers de routine sur les serveurs internes lorsqu'il a accidentellement entré une commande de suppression sur le dossier racine de Toy Story 2... Voilà une bonne nouvelle. Cet "événement de mise à jour de CV" a entraîné la disparition des modèles de personnages et des ressources, et les serveurs de fichiers ont été rapidement arrêtés.

\ Malheureusement, à ce moment-là, environ 90% du travail effectué sur Toy Story 2 avait disparu, et le système de sauvegarde de la suite ne fonctionnait pas correctement depuis environ un mois. À ce stade, Toy Story 2 devait soit recommencer à zéro, soit la production devait être complètement abandonnée.

Une mère sauve la situation

Une mère sauve la situation, tout comme lorsque Buzz et Woody font équipe pour rentrer chez eux. Galyn Susman, la superviseure de la direction technique du film, qui serait touchée par les licenciements de Disney en 2023, avait une copie du projet Toy Story chez elle. Galyn était en congé de maternité et avait décidé de continuer à travailler depuis chez elle – quelque chose qui est considéré comme normal aujourd'hui - mais qui était tabou à l'époque. Être mère et toujours planifier à l'avance, comme avec des enfants, l'avait amenée à prendre l'habitude de ramener son travail à la maison une fois par semaine. C'était un énorme avantage car cela lui permettait de rester à jour et de maintenir une sauvegarde fiable de Toy Story 2.

\ Comme un nouveau-né, Pixar a soigneusement transporté l'ordinateur portable au bureau, bercé et enveloppé dans des couvertures pendant le trajet en voiture - j'imagine qu'ils ont même joué des berceuses pour l'ordinateur portable... ou peut-être que c'est quelque chose que j'aurais fait. Avoir la sauvegarde de l'ordinateur portable de Susman a permis à l'équipe de copier les fichiers et de récupérer presque tout ce qui avait été perdu.

\ C'était une occasion joyeuse avec de nombreux high five, et peut-être même un sourire sur le visage de la personne responsable de la suppression. La copie de sauvegarde de Susman ne contenait pas l'intégralité du film sur son ordinateur, mais ils ont pu récupérer suffisamment pour terminer et livrer Toy Story 2 à temps. Mettez la musique inspirante et dansez comme si personne ne vous regardait. Quelle histoire, n'est-ce pas ?

\ Qu'en est-il de l'employé qui a supprimé les fichiers ? Je suis content que vous soyez attentif. Jusqu'à présent, il n'y a aucun rapport indiquant qu'il ait été licencié ou qu'il ait subi des conséquences. Je dirais qu'il est facile d'imaginer la tension à ce moment-là, et peut-être un futur projet avec lui travaillant sur le processus de sauvegarde.

Leçons apprises

L'expérience sert de leçon précieuse, pas seulement pour les gens de Pixar mais pour les professionnels de l'informatique du monde entier. Il y a un fort engagement à créer plusieurs sauvegardes et à mettre en œuvre des mesures de sécurité supplémentaires pour éviter que de tels incidents ne se reproduisent.

\ Dans cette histoire, le système de sauvegarde avait échoué des mois plus tôt, et personne ne l'avait remarqué. Cela signifiait qu'il n'y avait pas de sauvegardes à partir desquelles restaurer, et l'activité était au point mort. Est-ce que cela vous rappelle les événements d'aujourd'hui ? Cela devrait, car cela arrive beaucoup ces jours-ci. Que peuvent faire les entreprises pour se protéger de cette catastrophe ?

Sauvegardes

• La règle 3-2-1 - la règle de sauvegarde des données est une stratégie qui recommande de conserver trois copies de vos données, sur deux types différents de supports de stockage, avec une copie stockée hors site. Cette méthode assure la redondance et protège les données contre un point de défaillance unique, comme une panne matérielle, un vol ou une catastrophe locale.

  \

• Sauvegardes externes - Une sauvegarde de données hors site et isolée stocke une copie de vos données dans un emplacement physique ou cloud séparé (hors site) et la maintient déconnectée de votre réseau principal (isolée). Cette combinaison protège vos données contre les catastrophes localisées et les menaces cybernétiques comme les ransomwares, qui ne peuvent pas accéder à distance ou corrompre la copie de sauvegarde isolée.

  \

• RPO et RTO - Recovery Point Objective et Recovery Time Objective. Ce n'est pas seulement important, mais vital pour la continuité de votre entreprise et sa survie en cas de catastrophe. La plupart des entreprises déclarent qu'elles ont des sauvegardes testées qui passent les audits, mais lorsqu'elles doivent restaurer leurs systèmes en cas de catastrophe, cela prend beaucoup plus de temps que prévu, et l'entreprise perd de l'argent à cause de cela.

Contrôles techniques et permissions : Privilèges de suppression de dossiers restreints.

• La prévention la plus simple aurait été de définir des permissions sur le serveur afin que tous les employés ne puissent pas supprimer le répertoire de premier niveau du film. Accorder un accès "contrôle total" à un grand groupe d'utilisateurs est courant dans les environnements collaboratifs, mais c'est un risque majeur pour la sécurité. Seul un petit nombre d'administrateurs devrait avoir la permission d'exécuter des commandes de "suppression" sur des dossiers critiques de haut niveau.

\

• Restrictions au niveau des commandes. L'employé a utilisé la commande Linux rm -r, qui supprime un répertoire et tout son contenu de manière récursive. Un système plus avancé aurait pu empêcher l'exécution de cette commande au niveau du répertoire de projet le plus élevé, soit avec un script spécial, soit en exigeant une deuxième étape d'authentification.

  \

\