Talks 2023

Dr Luc Julia

> Biographie

Le Dr. Luc JULIA est Directeur Scientifique de Renault. Il a été Directeur Technique et Vice-Président pour l’innovation chez Samsung Electronics, a dirigé Siri chez Apple, été Directeur Technique chez Hewlett-Packard et a cofondé plusieurs start-ups dans la Silicon Valley. Lorsqu’il poursuivait ses recherches à SRI International, il a participé à la création de Nuance Communications, aujourd’hui leader mondial dans le domaine de la reconnaissance vocale.Chevalier de la Légion d’Honneur et membre de l’Académie nationale des technologies, il est diplômé en mathématiques et en informatique de l’Université Pierre et Marie Curie à Paris et a obtenu un doctorat en informatique à l’Ecole Nationale Supérieure des Télécommunications de Paris.Il est l’auteur du best-seller «L’intelligence artificielle n’existe pas», détient des dizaines de brevets et est reconnu comme l’un des 100 développeurs français les plus influents dans le monde numérique.

Aaditya Ramdas

> Keynote

Présentation à distance et en anglais

Predictive uncertainty quantification under distribution shift.

There are two dominant ways to quantify prediction uncertainty. The first is to use prediction sets, and the second to require calibrated probabilistic predictions. The two dominant paradigms for achieving these — without making distributional assumptions on the data — are conformal prediction and post-hoc binning. This talk will briefly recap these core ideas (under the setting where the data are i.i.d.) and show how to extend them to practical settings where the distribution may drift or shift over time.

 

> Biographie

Aaditya Ramdas (PhD, 2015) is an assistant professor at Carnegie Mellon University, in the Departments of Statistics and Machine Learning. He was a postdoc at UC Berkeley (2015–2018) and obtained his PhD at CMU (2010–2015), receiving the Umesh K. Gavaskar Memorial Thesis Award. His undergraduate degree was in Computer Science from IIT Bombay (2005-09), and he did high-frequency algorithmic trading at a hedge fund (Tower Research) from 2009-10.

Aaditya was an inaugural recipient of the COPSS Emerging Leader Award (2021), and a recipient of the Bernoulli New Researcher Award (2021). His work is supported by an NSF CAREER Award, an Adobe Faculty Research Award (2019), an ARL Grant on Safe Reinforcement Learning, a Block Center Grant for election auditing, a Google Research Scholar award (2022) for structured uncertainty quantification, amongst others. He was a CUSO lecturer (2022) and will be a Lunteren lecturer in 2023.Aaditya’s main theoretical and methodological research interests include selective and simultaneous inference (interactive, structured, online, post-hoc control of false decision rates, etc), game-theoretic statistics (sequential uncertainty quantification, confidence sequences, always-valid p-values, safe anytime-valid inference, e-processes, supermartingales, etc), and distribution-free black-box predictive inference (conformal prediction, calibration, etc). His areas of applied interest include privacy, neuroscience, genetics and auditing (elections, real-estate, financial), and his group’s work has received multiple best paper awards.

Catuscia Palamidessi

> Keynote

Présentation en anglais 

Private collection of mobility data.

The increasingly pervasive use of big data and machine learning is raising various ethical issues, in particular privacy. In this talk, I will discuss some frameworks to understand and mitigate the issue, focusing on iterative methods coming from information theory and statistics, and on the application to location data. In the area of privacy protection, differential privacy (DP) and its variants are the most successful approaches to date. One of the fundamental issues of DP is how to reconcile the loss of information that it implies with the need to preserve the utility of the data. In this regard, a useful tool to recover utility is the iterative Bayesian update (IBU), an instance of the expectation-maximization method from statistics. I will show that the IBU, combined with a version of DP called 𝑑 -privacy (also known as metric differential privacy), outperforms the state-of-the-art, which is based on algebraic methods combined with the randomized response mechanism, widely adopted by the Big Tech industry (Google, Apple, Amazon, …). 

> Biographie

Directrice de recherche Inria au sein de l’équipe-projet Comete et membre du Laboratoire d’Informatique de l’École polytechnique (LIX – CNRS/École polytechnique/inria).
Les recherches de Catuscia Palamidessi se caractérisent par l’application de méthodes mathématiques et logiques à l’informatique. Elle a travaillé dans divers domaines, y compris la théorie de la concurrence, où elle a prouvé des résultats de séparation entre la communication synchrone et asynchrone, ainsi que dans les domaines de la sécurité et la protection de la vie privée, où elle a proposé une variante du cadre de la “differential privacy”, avec des applications à la protection des informations de localisation (“géo-indistinguishability”). Plus récemment, elle a commencé à explorer les enjeux éthiques de l’intelligence artificielle, en particulier l’équité et le contrôle des fuites d’informations dans l’apprentissage automatique.

François Sillion

> Biographie

Ancien élève de l’École Normale Supérieure, titulaire d’une thèse de doctorat de l’université Paris-Sud et d’une habilitation à diriger des recherches de l’université Joseph Fourier-Grenoble 1, il a occupé des fonctions de chercheur à l’université Cornell (USA), au CNRS (à Paris et Grenoble), puis à Inria. Il a également occupé des postes de chercheur invité au MIT (USA) et chez Microsoft Research (USA), ainsi que de professeur chargé de cours à l’Ecole Polytechnique. Il a suivi le cycle national de l’Institut des hautes études pour la science et la technologie en 2008-2009 (promotion Hubert Curien).

Ses recherches ont porté sur les techniques de création d’images de synthèse : modèles 3D, rendu « expressif », simulation de l’éclairage ; visualisation de très gros volumes de données et acquisition de données à partir d’images réelles. Il a encadré quinze thèses et publié une centaine d’articles de recherche sur ces sujets, ainsi que deux ouvrages sur la simulation de l’éclairage et la modélisation numérique de l’apparence. Il a reçu en 2009 pour ses travaux le prix « Outstanding Technical Contribution Award » de l’association internationale Eurographics.

Au sein d’Inria, il a fondé et dirigé l’équipe-projet ARTIS, et occupé les fonctions de délégué scientifique, puis directeur du centre de recherche Inria Rhône-Alpes. Devenu Directeur Général Délégué à la Science d’Inria, il a notamment développé des mécanismes de soutien à des projets de recherche exploratoires et des programmes transverses ou inter-disciplinaires en soutien de la stratégie scientifique de l’institut, et coordonné le volet recherche du plan gouvernemental sur l’intelligence artificielle mis en place suite au rapport Villani de mars 2018.

Il a fondé en 2019 et dirigé jusqu’en 2021 le centre de recherche « Uber Advanced Technologies Center » à Paris, dédié aux technologies numériques pour les nouvelles mobilités et en particulier la mobilité aérienne urbaine.

En 2022, il devient directeur technique et numérique du CNES.

 

 Marouane Il Idrissi

> Présentation

Présentation en anglais 🇬🇧

Les effets marginaux proportionnels : une réponse aux manquement des valeurs de Shapley pour la quantification d’importance.

L’utilisation des valeurs de Shapley dans le contexte de la quantification des incertitudes apporte une solution pratique lorsque les entrées (ou features) ne sont pas indépendantes. Ce mariage entre la théorie des jeux coopératifs et l’analyse de sensibilité globale a permis l’émergence des effets de Shapley, indices interprétables permettant de quantifier l’importance octroyée aux entrées d’un modèle boîte-noire. Cependant, ces indices présentent un inconvénient : une variable exogène (i.e., qui n’apparaît pas dans le modèle) peut se voir octroyer de l’importance, dès lors qu’elle présente une corrélation avec des entrées endogènes (i.e., dans le modèle). L’utilisation d’une autre allocation, les valeurs proportionnelles, permettent de pallier ce problème. Dans cette présentation, nous mettrons l’accent sur l’interface entre la théorie des jeux coopératifs et la quantification d’incertitudes. Les différences entre les effets de Shapley et les effets marginaux proportionnels seront illustrés par le biais de cas jouets et de jeux de données réels.

 

> Biographie

Marouane IL IDRISSI est en 3ème année de doctorat CIFRE entre la R&D d’EDF et l’Institut de Mathématiques de Toulouse. Son sujet de thèse porte sur le développement de méthodes pour interpréter les modèles d’intelligence artificielle (IA) boîtes-noires, afin de pouvoir certifier leur utilisation pour des systèmes critiques. Ses recherches gravitent autour de l’IA explicable (XAI) et de l’analyse de sensibilité, par le biais de la théorie des jeux coopératif et du transport optimal.

Gabriel Laberge

> Présentation

Présentation en anglais 🇬🇧

Les Modèles Interprétables Hybrides : Explorer le Compromis entre Transparence et Performance.

La recherche en explicabilité des modèles d’apprentissage automatique est présentement séparée en deux familles:
1) le dévelopement de modèles simples et interpretables
2) l’invention de méthodes “post-hoc” pour expliquer des modèles complexes.
Cette dualité est souvent présentée comme une conséquence du compromis “transparence-performance”, qui suppose que les modèles interpretables ont systématiquement des performances moindres que les modèles opaques. Même si un tel compromis fait partie du folklore en explicabilité, on note que peu d’études le justifie de manière quantitative. Ainsi, la question se pose: Est ce que ce compromis existe vraiment? Si oui, pouvons nous le mesurer? Ou même l’optimiser?

Pour répondre à ces questions, nous étudions les Modèles Interpretables Hybrides faisant intervenir la coopération entre une boite noire et un modèle transparent.
Au moment de prédire sur une entré x, une porte envoit l’entrée x soit à la partie transparente ou au modèle opaque.
En definissant la transparence du modèle comme étant le ratio d’instance x qui sont envoyés à la composante interpretable, on peut quantitativement mesurer les compromis entre la performance et la transparence.

Malgré leur grand potentiel, les modèles hybrides sont présentement limités par leur algorithme d’apprentissage. En effet, l’état de l’art repose sur des heuristiques de recherche qui rendent l’apprentissage sous-optimal et instable. En se basant sur l’algorithme CORELS pour apprendre des RuleLists optimales, nous avançons l’état de l’art en entrainant des modèles hybrides optimaux à transparence fixe. Notre méthode, nommée HybridCORELS, permet ainsi d’etudier les compromis entre transparence et performance sans devoir se soucier de l’optimalité et de la stabilité des modèles.

Un résultat clé de nos expériences est qu’il est possible d’obtenir des modèles hybrides optimaux avec plus de 50% de transparence et dont la performance est equivalente (ou même meilleur) que la boite noire originale. Ces observations démontrent un constat intéressant: les boite noires, bien que performantes, sont souvent trop complexes sur certaines regions de l’espace des entrées et il est possible de les simplifier sur ces régions sans affecter la performance.

 

> Biographie

Gabriel Laberge a fait ses études en Génie Physique, suivi d’une maitrise en Mathématiques Appliquées où il découvrit sa passion pour l’analyse de données et les statistiques. Pour appronfondir cette passion, il entamma son Doctorat en informatique, plus spécifiquement sur l’apprentissage automatique.
Ses sujets de recherches actuels se trouvent à l’intersection entre l’explicabilité des boites noires et la quantification de l’incertitude, et ont pour but d’extraire des conclusions fiables sur les comportements des modèles complexes.

François Bachoc

> Présentation

Présentation en anglais 

Introduction to Gaussian process with inequality constraints, Application to coast flooding risk.

In Gaussian process modeling, inequality constraints enable to take expert knowledge into account and thus to improve prediction and uncertainty quantification. Typical examples are when a black-box function is bounded or monotonic with respect to some of its input variables. We will show how inequality constraints impact the Gaussian process model, the computation of its posterior distribution and the estimation of its covariance parameters. An example will be presented, where a numerical flooding model is monotonic with respect to two input variables called tide and surge.

 

> Biographie

François Bachoc a soutenu sa thèse de l’Université Paris Diderot en 2013. Il a ensuite effectué un post-doctorat de 2 ans à l’université de Vienne. Depuis 2015 il est Maître de conférences à l’Institut de Mathématiques de Toulouse. Il a soutenu son HDR en 2018. Ses thèmes de recherche sont la statistique théorique et appliquée, le machine learning, et les applications industrielles.

Nicolas Couëllan

> Présentation

Optimisation et machine learning pour les systèmes de trafic aérien: vers des décisions plus robustes.

Les systèmes de gestion du trafic aérien sont des systèmes souvent complexes et critiques. Les avancées récentes en machine learning permettent d’incorporer dans leurs calculs davantage d’information de contexte, rendant les décisions prises par ces systèmes plus riches. Néanmoins, parce qu’ils sont critiques, il est crucial de pouvoir garantir leur robustesse. Dans la première partie de cet exposé, nous présenterons rapidement quelques applications de l’apprentissage automatique dans ces systèmes. Dans un deuxième temps, nous aborderons la question de la robustesse des algorithmes de deep learning à travers quelques directions de recherche en cours. Dans tous ces travaux, nous verrons également que l’optimisation est au cœur des techniques soit parce qu’elle est couplée à des techniques de machine learning ou bien parce qu’elle est utilisée comme modèle mathématique et méthode de résolution du problème d’apprentissage.

 

> Biographie

Nicolas Couëllan est Professeur à l’École Nationale de l’Aviation Civile (ENAC). Il est également responsable de l’axe de recherche en Intelligence Artificielle du laboratoire ENAC et chercheur associé de l’Institut de Mathématique de Toulouse. Ses thèmes de recherche sont à la croisée de l’optimisation mathématique et du machine learning. Il a obtenu une Habilitation à Diriger des Recherches à l’Université Paul Sabatier et est détenteur d’un PhD et un Master of Science de l’Université d’Oklahoma, USA. Il a également travaillé plusieurs années dans l’industrie papetière et l’industrie automobile comme consultant en optimisation.

Sébastien Gadat

> Présentation

Optimisation et incertitude: du l’aléa subi à l’aléa utilisé

Nous présenterons deux exemples de problème d’optimisation dans un contexte perturbé par un aléa. Dans un premier exemple, il s’agit d’étudier un algorithme d’optimisation de trajectoire d’avion lorsque celui-ci est soumis à un contexte où son évolution spatiale est perturbée par différentes sources de bruit: vents, contrôle aérien, etc. Nous montrerons comment il est possible de rendre robuste à ces aléas des méthodes bien connues d’optimisation globale telles que l’algorithme de recuit simulé. Dans un second temps, nous prendrons le point de vue où il est possible d’agir et incorporer du bruit dans un algorithme pour également obtenir des garanties de convergence et considèrerons les exemples du gradient stochastique et de la méthode ADAM communément employée pour l’optimisation de réseaux de neurones profonds.

 

> Biographie

Professeur de mathématiques appliquées à la Toulouse School of Economics, ses sujets de recherche sont concentrés sur les mathématiques en jeu pour l’intelligence artificielle. Il s’intéresse principalement à des questions relatives à l’efficacité des algorithmes utilisés en machine learning, tant d’un point de vue optimisation que d’un point de vue statistique. Il a encadré de nombreuses thèses relatives à ces questions à la fois académiques mais aussi industrielles (CIFRE).

Mark Niklas Müller

> Présentation

Présentation en anglais 

Realistic Neural Networks with Guarantees

Following the discovery of adversarial examples, provable robustness guarantees for neural networks have received increasing attention from the research community.
While relatively small or heavily regularized models with limited standard accuracy can now be efficiently analyzed, obtaining guarantees for more accurate models remains an open problem. Recently, a new verification paradigm has emerged that tackles this challenge by combining a Branch-and-Bound approach with precise multi-neuron constraints. The resulting, more precise verifiers have in turn enabled novel certified training methods which reduce (over-)regularization to obtain more precise yet certifiable networks. In this talk, we discuss these certification and training methods.

 

> Biographie

Mark Niklas Müller is a Ph.D. student at the Secure, Reliable, and Intelligent Systems Lab at ETH Zurich and advised by Prof. Martin Vechev. Mark’s research focuses on provable guarantees for machine learning models, including both certified training methods as well as deterministic and probabilistic certification methods for a diverse range of neural architectures.

François-Xavier Briol

> Présentation

Présentation en anglais 

Uncertainty in Numerics: a multi-level approach

Multilevel Monte Carlo is a key tool for approximating integrals involving expensive scientific models. The idea is to use approximations of the integrand to construct an estimator with improved accuracy over classical Monte Carlo. We propose to further enhance multilevel Monte Carlo through Bayesian surrogate models of the integrand, focusing on Gaussian process models and the associated Bayesian quadrature estimators. We show, using both theory and numerical experiments, that our approach can lead to significant improvements in accuracy when the integrand is expensive and smooth, and when the dimensionality is small or moderate. In addition, our approach allows for the quantification of the uncertainty arising due to our finite computational budget in a Bayesian fashion. We conclude the paper with a case study illustrating the potential impact of our method in landslide-generated tsunami modelling, where the cost of each integrand evaluation is typically too large for operational settings.

 

> Biographie

François-Xavier is a Lecturer (equivalent to Assistant Professor) in the Department of Statistical Science at University College London. he is also a Group Leader at The Alan Turing Institute, the UK’s national institute for Data Science and AI, where he is affiliated to the Data-Centric Engineering programme. There, he leads research on the Fundamentals of Statistical Machine Learning.

Shahaf Bassan

> Présentation

Présentation en anglais 

Towards Formally verifying and explaining deep neural networks

The talk will cover the general topic of the formal verification of neural networks. DNN verification can be used for assessing trust in neural networks deployed in safety-critical systems.
DNN verification tools can be used to verify a wide range of properties, such as robustness and explainability. In this context, the talk will dive in-depth into
how DNN verification can be used for providing formal and provable explanations for the behavior of neural networks. This is in contrast to most existing AI explainability tools used today,
which tend to be heuristic, hence not providing formal guarantees on the provided explanation.

 

> Biographie

Shahaf Bassan is a Ph.D. student in Computer Science at the Hebrew University of Jerusalem. His research focuses on developing techniques to produce formal and provable methods for AI explainability (XAI), and more specifically DNN explainability. These often rely on the use of DNN verification techniques. His work focuses both on the theoretical foundations of AI explainability, as well as building practical techniques that could be used in practice, for fields such as computer vision, natural language processing, and robotic navigation.

Andrei Bursuc

> Présentation

Présentation en anglais 

The many faces of reliability of visual perception for autonomous driving.

In this talk we study the reliability of automatic visual perceptions models applied to the task of autonomous driving.We first outline the challenges faced by such systems in the real world along with shortcomings of existing approaches based on deep neural networks.We then analyze two strategies to improve the robustness of visual perceptions systems to distribution shifts (unseen weather conditions, sensor degradation) by devising a robust training architecture (using the StyleLess layers) and through a carefully designed data augmentation strategy for removing potentially spurious correlations between objects in the datasets (Superpixel-Mix).Thirdly we discuss a learning-based monitoring approach for semantic segmentation and a strategy to generate failure modes and negative samples to learn from and to effectively recognize errors and out-of-distribution objects at runtime.
We conclude the talk with a brief review of current trends and perspectives in the community towards increasingly robust perception models.

 

> Biographie

Andrei Bursuc is a Senior Research Scientist at valeo.ai and Inria (Astra team) in Paris, France. He completed his Ph.D. at Mines Paris in 2012. He was postdoc researcher at Inria Rennes (LinkMedia team) and Paris (Willow team). In 2016, he moved to industry at SafranTech to pursue research on autonomous systems. His current research interests concern computer vision and deep learning, in particular reliability of deep neural networks and learning with limited supervision. Andrei is teaching at Ecole Normale Supérieure and Ecole Polytechnique and organized several tutorials on self-supervised learning and reliability at CVPR, ECCV and ICCV.

Nicolas Brunel

> Présentation

Présentation en anglais 

Explicabilité du Machine Learning : passer du local au régional pour améliorer l’estimation et la compréhension des modèles Black-Box.

Pour comprendre les prédictions d’un modèle de Machine Learning, il est maintenant commun de s’appuyer sur des méthodes d’explicabilité locale en complément d’indicateurs classiques tels que les importances de variables. Dans le cas des données tabulaires, les valeurs de Shapley sont par exemple calculées pour mesurer l’importance d’une variable dans la prédiction f(x) faite pour une observation x donnée. Malgré l’intérêt pratique de ces mesures, leurs limitations commencent à être bien comprises notamment leurs instabilités numériques et statistiques. Nous introduisons des mesures régionales des importances de variables, c’est-à-dire un partitionnement adaptatif de l’espace des features, qui met en avant les variables les plus importantes région par région. Cette construction s’appuie sur la notion de “Same Decision Probability” qui identifient les variables les plus importantes pour “fixer” une valeur prédite. Nous montrons aussi comment une approche duale permet de construire des règles contrefactuelles. Ces résultats s’appuient sur l’utilisation des “Random Forests”, qui permettent d’obtenir des algorithmes performants et de garantir certaines propriétés mathématiques des indicateurs obtenus. Les travaux présentés sont développés dans le cadre de la thèse de Salim Amoukou (Stellantis).

 

> Biographie

Ancien élève de l’ENSAI, N. Brunel a obtenu un doctorat en statistique à l’Université Paris 6 en 2005 en traitement statistique du signal radar, en collaboration avec Thales Air Defence et Telecom SudParis. En 2007, il devient maître de conférences à l’ENSIIE (Ecole Nationale Supérieure d’Informatique pour l’Industrie et l’Entreprise), et travaille sur l’estimation statistique d’équations différentielles, notamment pour favoriser l’utilisation de modèles explicables par nature en biologie. Promu professeur à l’ENSIIE en 2018, Nicolas Brunel devient aussi directeur scientifique de Quantmetry à partir de 2020. Il y anime les travaux de R&D en IA du Quantlab, et développe en particulier l’IA de Confiance, notamment l’explicabilité des modèles “black-box”, et la quantification d’incertitude en Machine Learning par les méthodes de prédiction conforme et le développement d’une librairie open source MAPIE.