Session #6

Proteins are important macromolecules fulfilling all kinds of roles in living organisms. Their structure involve a sequence of aminoacids (small building blocks) with a precise organisation in space that wil define the role. Getting the sequence is quite “easy” but it is not sufficient. We need to know the 3D structure to be able to tell what the protein does, we talk about the folding of the sequence.

Several experimental methods are available to get the structure but they might not work for all proteins and are quite expansive.

Since 1994, the CASP contest, holds every 2 years to compare computational methods to find the 3D configuration of unknown proteins. Several machine learning methods are used in these contests and in 2018 DeepMind introduced the Deep Learning model Alphafold which was much better than all the other methods.

This talk will introduce the problematic of protein folding and discuss the architecture of Alphafold to explain why there was this huge gain in performance.

Nous proposons de faire un rapide résumé de la formation donnée sur 3 jours à l’IDRIS concernant l’optimisation d’une boucle d’apprentissage de DNN sur des nœuds de calcul Jean Zay avec des GPU A100 ou V100. Nous aborderons : le calcul GPU, les Tensor Core et la Mixed Precision, l’optimisation des Dataloader, l’empreinte mémoire nécessaire pour l’apprentissage, les bonnes pratiques et l’économie énergétique possible pour l’utilisateur, le parallélisme de données sur plusieurs GPU pour accélérer l’apprentissage et les problématiques liées de descente de gradient dû au Large Batch… Enfin pour les très gros modèles de plusieurs milliards de paramètres, nous verrons les solutions de parallélismes de modèle (PP, TP) et les librairies dédiées : Deepspeed, Megatron, Colossal-AI.