Comment stocker les pétaoctets de données générées par les machines ?

L’exemple du CERN montre que les disques durs sont essentiels lorsqu’il s’agit de stocker des quantités de données aussi énormes. Les disques durs restent le support le moins cher, bénéficiant à la fois d’un vaste espace de stockage et mais aussi d’une utilisation facile. En comparaison, la cassette est très peu coûteuse mais ne convient pas comme support hors ligne. Elle ne convient que pour l’archivage des données. La mémoire flash, en revanche, est actuellement encore huit à dix fois plus chère par unité de capacité de stockage que les disques durs.

Bien que les prix des disques SSD baissent, ils le font à un rythme similaire à celui des disques durs. De plus, les disques durs sont très bien adaptés pour répondre aux exigences de performances dans des environnements de stockage à grande capacité. Un seul disque dur peut être moins intéressant qu’un seul SSD, mais la combinaison de plusieurs disques durs à rotation rapide permet d’obtenir des valeurs d’IOPS très élevées qui peuvent fournir de manière fiable les applications d’analyse les données nécessaires.

En fin de compte, le prix est le seul critère décisif. D’autant plus que les volumes de données à stocker dans le monde IoT ne peuvent être compressés que de manière minimale pour économiser un espace de stockage précieux. Dans la mesure du possible, la compression a généralement lieu au endpoint ou via le Edge pour réduire la quantité de données à transmettre. Ainsi, cette quantité arrive au centre de données sous forme compressée et doit être stocké sans autre compression. En outre, la déduplication offre peu d’économies potentielles car, contrairement aux partages ou sauvegardes de fichiers d’entreprise classiques, il n’y a pratiquement pas de données identiques.

En raison du flot de données IoT et de la grande quantité de disques requise qui en résulte, la fiabilité des disques durs utilisés est d’une grande importance. Cela a moins à voir avec les pertes de données possibles, car celles-ci peuvent être gérées à l’aide de mécanismes de sauvegarde appropriés, qu’avec la maintenance du matériel. Avec un taux de défaillance annualisé (AFR) atteint par le CERN de 0,7%, une solution de stockage utilisant 100 000 disques durs exigerait que 350 disques soient remplacés chaque année – en moyenne près d’un disque de plus par jour.

Dans les années à venir, peu de choses changeront avec un stockage des données IoT supportée principalement par les disques durs. Les capacités de production Flash resteront tout simplement trop faibles pour que les SSD dépassent les HDD.

Pour couvrir la demande de stockage actuelle uniquement avec des disques SSD, la production flash devrait augmenter considérablement. Sachant que les coûts de construction d’une seule usine de fabrication flash s’élèvent à plusieurs milliards d’euros, il s’agit d’une entreprise difficile à financer. De plus, cela n’entraînerait une puissance flash plus élevée qu’après environ deux ans.  Ce qui ne couvrirait que la demande de 2020 et non celle de 2022.

La production de disques durs, par contre, peut être augmentée beaucoup plus facilement car il faut moins de production que dans la production de semi-conducteurs. De plus, le développement des disques durs progresse continuellement et de nouvelles technologies telles que HAMR (Heat-Assisted Magnetic Recording) et MAMR (Microwave-Assisted Magnetic Recording) continuent de générer des augmentations de capacité.

Les experts supposent que la capacité de stockage des disques durs continuera d’augmenter à un rythme d’environ 2 téraoctets par an à coût constant pendant encore quelques années. Ainsi, IDC prévoit que d’ici la fin de 2025, plus de 80% de la capacité requise dans le secteur des entreprises pour les centres de données de base et via le Edge continueront d’être obtenus sous forme de disques durs et moins de 20% sur les disques SSD et autres support flash.