Generalizing the SINDy approach with nested neural networks
Résumé
Symbolic Regression (SR) is a widely studied field of research that aims to infer symbolic expressions from data. A popular approach for SR is the Sparse Identification of Nonlinear Dynamical Systems (\sindy) framework, which uses sparse regression to identify governing equations from data. This study introduces an enhanced method, Nested SINDy, that aims to increase the expressivity of the SINDy approach thanks to a nested structure. Indeed, traditional symbolic regression and system identification methods often fail with complex systems that cannot be easily described analytically. Nested SINDy builds on the SINDy framework by introducing additional layers before and after the core SINDy layer. This allows the method to identify symbolic representations for a wider range of systems, including those with compositions and products of functions. We demonstrate the ability of the Nested SINDy approach to accurately find symbolic expressions for simple systems, such as basic trigonometric functions, and sparse (false but accurate) analytical representations for more complex systems. Our results highlight Nested SINDy's potential as a tool for symbolic regression, surpassing the traditional SINDy approach in terms of expressivity. However, we also note the challenges in the optimization process for Nested SINDy and suggest future research directions, including the designing of a more robust methodology for the optimization process. This study proves that Nested SINDy can effectively discover symbolic representations of dynamical systems from data, offering new opportunities for understanding complex systems through data-driven methods.
La régression symbolique est un domaine de recherche bien établi qui cherche à déduire des expressions symboliques directement à partir de données. L'une des approches les plus reconnues dans ce domaine est celle de l'Identification Parcimonieuse de Systèmes Dynamiques non Linéaires (Sparse Identification of Nonlinear Dynamical Systems, SINDy), qui recourt à la régression parcimonieuse pour extraire les expressions des équations sous-tendant les données observées. Dans cette étude, nous proposons une méthode avancée, dénommée ``Nested SINDy'', qui vise à améliorer l'expressivité de la méthode SINDy grâce à une structure multi-couches. En effet, les limites des méthodes traditionnelles de régression symbolique et d'identification de systèmes concernent principalement les sytèmes complexes, dont la description analytique n'est pas aisée. En s'appuyant sur la méthode SINDy, Nested SINDy introduit des couches supplémentaires avant et après la couche principale de SINDy. Ceci lui permet d'inférer des représentations symboliques pour une plus grande gamme de systèmes, incluant ceux décrits par des équations formées de compositions et de produits de fonctions. Nous démontrons la capacité de Nested SINDy à identifier avec précision des expressions symboliques pour des équations simples, tels que des fonctions trigonométriques basiques, et à fournir des représentations analytiques creuses (fausses, mais précises) pour des systèmes plus complexes. Nos résultats mettent en lumière le potentiel de Nested SINDy comme outil puissant pour la régression symbolique, surpassant les capacités expressives de la méthode SINDy traditionnelle. Toutefois, nous soulignons également les défis rencontrés dans le processus d'optimisation de Nested SINDy et proposons des pistes pour des recherches futures, notamment en vue de développer une méthodologie d'optimisation plus robuste. Cette étude établit que Nested SINDy est capable de découvrir efficacement des représentations symboliques des systèmes dynamiques à partir de données, ouvrant ainsi de nouvelles voies pour la compréhension des systèmes complexes via des méthodes basées sur les données.
Fichier principal
Fiorini_Flint_Fostier_Franck_Hashemi_Michel-Dansac_Tenachi.pdf (1.61 Mo)
Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)