Voilà le concept :
DeepSeek vient de sortir un nouveau papier sur le MhC, jouant avec l’idée d’Hyper-Connexions ; des modèles qui élargissent les liens résiduels traditionnels en conduits multi-flux plus riches, et les enveloppent dans une contrainte de variété pour que l’information ne déraille pas à mesure que la profondeur augmente.
Les hyper-connexions classiques élargissent les « voies » de données circulant dans un réseau... mais sans aucune topologie pour les guider, ces degrés de liberté supplémentaires peuvent carrément déstabiliser l’entraînement à grande échelle.
La contrainte de variété projette l’espace de connexion résiduelle sur une surface géométrique contrôlée (une variété) qui préserve la propriété de mapping d’identité, ce qui permet de garder des gradients sains et un entraînement stable.
Excitant, non ?
C’est comme ajouter des garde-fous qui préservent la forme sur une autoroute à plusieurs voies.
Le modèle profite toujours d’une connectivité riche, mais le flux d’informations ne se déforme pas. Systématiquement, ça supprime l’instabilité typique des flux résiduels larges et non contraints, tout en laissant le réseau explorer des représentations internes plus expressives.
En d’autres termes, en plus de pouvoir se déplacer verticalement, le papier de DeepSeek nous montre comment utiliser les hyper-connexions pour déplacer l’information latéralement de la même manière !