Cet article propose des recommandations pour exécuter des traitements techniques à grande échelle sur la plateforme Google Cloud Platform (GCP). De nombreuses applications nécessitent un grand nombre de « compute », connectés entre eux pour former un cluster, lequel coordonne le traitement et l’accès aux données sur tous les nœuds.
Les concepts et les technologies sous-jacentes de l’IT en cluster se sont développés au cours des dernières décennies, et sont désormais matures et largement appliqués. La migration de la pile logicielle vers le Cloud peut entraîner des contraintes supplémentaires, mais offre également des possibilités incontestables de réduction des coûts et d’atténuation des goulets d’étranglement existants dans les environnements IT hautes performances d’aujourd’hui.
Ce guide présente un aperçu des technologies, des enjeux et des différentes solutions actuelles d’exécution de clusters de traitement sur GCP.
Le Cluster collecte et coordonne un ensemble de machines pour qu’elles travaillent ensemble à la réalisation d’une tâche. Les Clusters sont généralement dotés d’un nœud principal unique (parfois appelé nœud maître), d’un certain nombre de nœuds de calcul, et d’autres nœuds spécialisés, le cas échéant. Le nœud principal constitue le cerveau du système et est chargé :
- D’enregistrer les nœuds de calcul au sein du système.
- De surveiller les nœuds.
- D’affecter les tâches aux nœuds particuliers.