mardi 26 octobre 2021

Derniers articles

HugeCTR TensorFlow Embedding Plugin permet d’accélérer l’intégration

Les développeurs créant des technologies embarquées telles que des systèmes de recommandation et d’autres types d’applications peuvent être intéressés par un nouvel article publié dans le NVIDIA blog développeur qui révèle plus de détails sur les “couches denses”. Les couches d’intégration sont apprises à partir des données et de la formation de bout en bout, tout comme les autres couches d’un réseau de neurones profonds.

Ce sont les couches d’intégration qui différencient les modèles de recommandation DL des autres types de charges de travail DL : elles contribuent un nombre énorme de paramètres au modèle mais nécessitent peu ou pas de calcul, tandis que les couches denses à calcul intensif ont un nombre de paramètres beaucoup plus petit.

Deux façons de tirer parti du travail d’optimisation d’intégration dans HugeCTR

« Les intégrations jouent un rôle essentiel dans les architectures modernes de recommandation basées sur DL, en codant les informations individuelles pour des milliards d’entités (utilisateurs, produits et leurs caractéristiques). À mesure que la quantité de données augmente, la taille des tables d’intégration augmente également, s’étendant désormais de plusieurs Go à plusieurs To. Il existe des défis uniques dans la formation de ce type de système DL, avec ses énormes tables d’intégration avec des modèles d’accès clairsemés couvrant potentiellement plusieurs GPU, voire des nœuds.

La source : NVIDIA

Certains de nos articles incluent des liens d’affiliation. Si vous achetez quelque chose via l’un de ces liens, lilypop peut gagner une commission d’affiliation. .

Derniers articles

Les plus consultés