Recherche

Mechanica Labs étudie les calculs internes des réseaux de neurones en utilisant la structure algébrique, la géométrie et une analyse rigoureuse au niveau des mécanismes. Notre objectif est d'identifier les principes qui gouvernent la façon dont les modèles représentent et calculent, et de développer un cadre mathématique qui se généralise sur les architectures et les tâches.

Interprétabilité mécaniste

Nous enquêtons sur la façon dont les réseaux de neurones implémentent des calculs spécifiques en analysant leurs circuits internes, leurs sous-espaces et leurs représentations. Notre travail se concentre sur l'identification des mécanismes algorithmiques qui émergent lors de l'entraînement, en particulier dans les cas où la fonction cible a une structure algébrique ou combinatoire claire, comme l'arithmétique modulaire ou les opérations de groupe. En isolant ces mécanismes et en caractérisant leurs invariances, symétries et propriétés de décomposition, nous visons à établir des modèles généraux pour la façon dont les réseaux de neurones encodent les calculs discrets.

Structures algébriques et géométriques

Nous appliquons les outils de la géométrie algébrique, de la topologie et de la théorie des représentations pour décrire la structure et l'organisation des caractéristiques apprises. Cela inclut la modélisation des représentations en utilisant des invariants géométriques et topologiques, l'analyse de la façon dont les actions de groupe et les symétries se reflètent dans les plongements appris, et l'identification des structures de fibre, d'orbite et de quotient qui reflètent l'algèbre sous-jacente de la tâche. Cette perspective offre un moyen rigoureux de caractériser l'espace d'états interne d'un réseau et de comprendre pourquoi certaines représentations sont stables, efficaces ou universelles entre les architectures.

Cristallographie et applications minières

Nous étendons les méthodes d'apprentissage automatique explicables conscientes de la symétrie et de la géométrie aux problèmes de cristallographie et d'exploration minérale. Le travail actuel implique la prédiction de réseaux et de groupes spatiaux, l'apprentissage de représentations cohérentes avec la symétrie et l'inférence minéralogique et géologique. Ces applications servent de pont entre la théorie des représentations abstraites et les systèmes physiques où la symétrie, la périodicité et les contraintes géométriques jouent un rôle central.