PostDoc Conception matérielle pour l’approximation de f(x) mathématiques

Le poste est financé dans le cadre du projet, CAMELIA, impliquant plusieurs partenaires dont le CEA, l‘INRIA et différents laboratoires académiques. Le programme CAMELIA (Composants pour l'Accélération Matérielle Et Logicielle de l’IA) se concentre sur le développement de composants d’accélération IA évolutifs et modulaires, ainsi que leur environnement logiciel associé. Il vise à créer des accélérateurs spécialisés basés sur les chiplets et l’intégration 2.5D/3D qui ciblent des fonctions clés pour exécuter des modèles d’IA, en utilisant une approche conjointe de co-conception matériel/logiciel/application. En anticipant les avancées technologiques à la fois matérielles et logicielles, le programme vise à réaliser des gains de performance significatifs - notamment en matière d’efficacité énergétique - par rapport aux solutions actuelles du secteur basées sur des GPU ou des NPU.

Plus précisément, il vise la conception de puces dédiées à l’accélération de fonctions clés (calcul tensoriel, calcul creux, gestion dynamique de basse précision), leur intégration dans des systèmes sur puce modulaires, et l’optimisation de la pile logicielle associée pour la compilation, orchestration et développement d’applications. Au fur et à mesure que le projet mûrira, il intégrera également des contraintes liées aux coûts, à la sûreté, à la sécurité et à l’impact environnemental.

Travaux au sein de l’IETR

Les fonctions d’activation jouent un rôle fondamental dans les modèles d’IA modernes comme les CNN, LLM et Transformers. Elles introduisent de la non-linéarité dans les réseaux, permettant d’apprendre des relations complexes et d’éviter les limitations des modèles linéaires. Elles contrôlent le flux de gradients (évitant les problèmes de vanishing ou exploding), normalisent les sorties et activent/désactivent des neurones pour spécialiser le réseau. Leur choix dépend de la tâche. Sans elles, les modèles d’IA ne pourraient ni généraliser ni apprendre efficacement.

Ces fonctions d’activation sont basées sur différentes fonctions mathématiques telles que ReLU (Rectified Linear Unit), Sigmoid, Tanh (Tangente Hyperbolique), Softmax, Leaky, GELU (Gaussian Error Linear Unit)

L’objectif des travaux de recherche dans le cadre de ce post-doc est de proposer une unité spécifique dédiée à l’évaluation efficace des différentes fonctions mathématiques présentes au sein des modèles d’IA. Cette unité spécifique permettra d’approximer tout type de fonction mathématique et sera un compromis entre la latence de l’évaluation, les ressources mémoire et la complexité matérielle de l’unité.