Dans les coulisses : les statistiques gonflées de Tesla et les démonstrations de compétence en IA

Deuxième partie sur deux
Première partie

Alors que les employés de Tesla regardaient des vidéos des erreurs du FSD, le conseil d'administration et le PDG de l'entreprise intensifiaient leurs affirmations sur la sécurité de la technologie et sa préparation à l'autonomie totale. Pendant une grande partie de l'année dernière, les dirigeants de Tesla ont promu l'argument selon lequel le système serait 10 fois plus sûr.

« Une voiture équipée du FSD étant 10 fois plus sûre » stimulera les ventes, a déclaré Taneja, directeur financier de Tesla, lors d'une conférence téléphonique sur les résultats en juillet. « Même à 99 $ par mois, c'est comme si vous obteniez un chauffeur personnel pour presque 3,33 $ par jour. »

Un problème clé dans la méthodologie de Tesla provient d'une erreur de comparaison qui a gonflé le niveau de sécurité revendiqué par Tesla d'un facteur trois. Le constructeur automobile a comptabilisé les accidents de Tesla avec déploiement d'airbags et les a comparés aux données fédérales sur tous les accidents nécessitant l'intervention d'une dépanneuse — un critère bien moins restrictif. Les accidents nécessitant une dépanneuse ne sont souvent pas assez graves pour déclencher les airbags.

Tesla a adopté cette approche de comparaison incohérente alors même que des données comparables étaient facilement disponibles : les données fédérales utilisées incluaient des accidents avec déploiement d'airbags. Cette méthodologie erronée a produit le résultat selon lequel les Tesla utilisant le FSD ou l'Autopilot parcourent 10 fois plus de kilomètres entre deux accidents que le conducteur humain moyen.

La comparaison plus valide — utilisant les accidents impliquant des airbags pour les Tesla et toutes les autres voitures — révèle que les Tesla utilisant les systèmes d'aide à la conduite parcourent environ trois fois plus de kilomètres entre les accidents avec déploiement d'airbags, selon une analyse réalisée pour Reuters par Marco Benedetti, chercheur assistant à l'Institut de recherche sur les transports de l'Université du Michigan et ancien statisticien de la NHTSA. Deux autres chercheurs en sécurité routière ont vérifié les calculs de Benedetti et se sont accordés sur les conclusions.

Mais cela ne signifie pas que le FSD est réellement trois fois plus sûr que le conducteur moyen, a déclaré Benedetti, en raison de plusieurs autres failles dans la méthodologie de Tesla.

Tesla a modifié son approche en novembre pour n'inclure que les données des véhicules utilisant le FSD et exclure ceux équipés de l'Autopilot. L'inclusion de l'Autopilot avait augmenté les kilomètres revendiqués par Tesla entre les accidents, car il s'agit d'un système moins sophistiqué destiné uniquement aux autoroutes — où les voitures accumulent des kilomètres et ont beaucoup moins d'accidents que sur les routes urbaines. L'entreprise, cependant, continue d'utiliser la comparaison erronée des accidents avec airbags sur son site web pour affirmer que le FSD est sept fois plus sûr que le conducteur humain moyen, soit environ 85 % plus sûr exprimé en pourcentage.

Plusieurs autres mesures erronées employées par Tesla jettent le doute sur la question de savoir si le FSD est réellement plus sûr, a constaté Reuters.

Le constructeur automobile, par exemple, ne tient pas compte de l'âge des véhicules lorsqu'il compare le taux d'accidents de ses voitures au taux national. Tesla compare ses véhicules — dont l'âge moyen est de seulement 4,1 ans selon les données de S&P Global Mobility — à l'ensemble des véhicules américains, dont l'âge moyen est de 12,8 ans. Cela fausse les résultats, ont déclaré 10 chercheurs en sécurité à Reuters, car presque tous les constructeurs automobiles ont récemment commencé à proposer des dispositifs de sécurité révolutionnaires, notamment la surveillance des angles morts et le freinage d'urgence automatique, sur l'ensemble de leurs gammes.

Tesla réduit également son bilan d'accidents en ne comptabilisant que les accidents survenant soit avec le FSD activé, soit dans les cinq secondes suivant la désactivation de la fonction. Le gouvernement américain, en revanche, exige des constructeurs automobiles qu'ils signalent les accidents survenant dans les 30 secondes suivant la désactivation d'un système avancé d'aide à la conduite.

Tesla affirme que le FSD pourrait sauver plus de 32 000 vies et prévenir plus de 1,9 million de blessures par an. Certains chercheurs en sécurité routière ont qualifié ces chiffres de non pertinents, car ils reposent sur l'hypothèse irréaliste que chaque véhicule américain, y compris les camions de fret et les motos accidentogènes, serait remplacé par une Tesla équipée du FSD — et que chaque Tesla est, en fait, au moins sept fois plus sûre que celle qu'elle remplace.

L'approche plus rigoureuse de Waymo

Les prémisses des statistiques de sécurité de Tesla sont également erronées, car le FSD n'est pas un véritable système autonome, ont déclaré 10 chercheurs en sécurité routière. Tesla ne compare pas sa technologie aux conducteurs humains, comme le prétendent ses dirigeants. Au contraire, le constructeur compare le conducteur humain moyen à un autre humain moyen — l'un conduisant une Tesla avec le FSD activé. Tesla ne tient pas non plus compte du fait que ces conducteurs peuvent activer et désactiver le FSD — et des recherches montrent que les automobilistes évitent souvent d'utiliser les systèmes avancés d'aide à la conduite dans des situations de circulation complexes où la technologie leur semble peu sûre. Les propres données de Tesla montrent que le FSD est principalement utilisé sur les autoroutes.

Waymo d'Alphabet, en revanche, compare ses robotaxis entièrement sans conducteur, désormais déployés dans 11 zones métropolitaines américaines, aux véhicules conduits par des humains dans des conditions similaires.

Waymo adopte une approche plus rigoureuse que Tesla, en examinant les données d'accidents sur les marchés où il opère et en ajustant selon les types de routes et de quartiers que ses robotaxis empruntent. Waymo se concentre sur des taux d'accidents spécifiques — tels que ceux impliquant des déploiements d'airbags ou des blessures graves — pour ses propres voitures et pour les voitures conduites par des humains sur les mêmes marchés.

« Nous devons être très prudents avec le langage que nous utilisons », a déclaré John Scanlon, chercheur en sécurité chez Waymo. « Vous avez besoin de questions de recherche très précises et de conclusions très précises. »

Waymo signale également les lacunes de ses données et collabore avec des chercheurs extérieurs pour publier ses statistiques de sécurité dans des revues à comité de lecture. Tesla, en revanche, ne cherche aucune évaluation par les pairs et ne publie que des affirmations statistiques de sécurité globales, tout en gardant secrètes les données sous-jacentes sur les accidents des voitures Tesla.

Des vidéos de Tesla heurtant des chiens, des chats et des cerfs

Au sein de Tesla, les annotateurs de données ont une vision sans fard de la sécurité du FSD. Trois anciens employés ont décrit plusieurs vidéos montrant des Tesla incapables de reconnaître des animaux et les heurtant à grande vitesse — sans freiner.

Cinq anciens employés ont indiqué que des équipes spécifiques se concentraient sur les problèmes du FSD à reconnaître les bus scolaires. C'est une préoccupation soulevée par un groupe de sécurité technologique appelé le Dawn Project, qui a diffusé des publicités lors des Super Bowls 2023 et 2024 montrant des vidéos de Tesla équipées du FSD incapables de s'arrêter devant des bus avec des panneaux stop et des feux clignotants.

Deux anciens employés ont déclaré avoir vu des clips vidéo similaires au sein de Tesla.

Cinq anciens annotateurs de données ont décrit un environnement de travail bousculé et décousu, avec des priorités changeant selon les directives de Musk et des ingénieurs FSD. L'unité d'annotation des données a souffert d'un renouvellement chronique du personnel en raison du travail monotone et de la rémunération généralement faible, ont-ils déclaré.

Les responsables de Tesla lançaient souvent de nouveaux projets en réaction à des articles de presse ou à des publications sur les réseaux sociaux montrant le FSD commettre des erreurs, ont déclaré quatre anciens employés. L'un d'eux a décrit un effort pour résoudre le problème de la lumière du soleil pouvant obstruer les caméras extérieures des voitures. Cela avait été déclenché par une vidéo sur les réseaux sociaux montrant comment la lumière réfléchie par la montre d'un passager aveuglait l'une des caméras, désactivant le FSD. Un autre effort sur les passages à niveau a suivi des articles de presse sur des Tesla conduites par le FSD incapables de s'y arrêter.

Les clips FSD montraient également régulièrement des excès de vitesse, ont déclaré cinq des employés, que les ingénieurs et d'autres responsables de la hiérarchie traitaient comme un problème de faible priorité.

Un employé a déclaré que les annotateurs voyaient des Tesla dépasser régulièrement les limites de vitesse de 20 à 30 miles par heure après que le constructeur a introduit un mode FSD « Mad Max » permettant une conduite plus agressive. Un autre annotateur a signalé avoir vu un véhicule piloté par le FSD circulant à 60 mph dans une zone limitée à 25 mph.

Démonstrations publiques de robotaxis

Alors que les employés de Tesla peinaient à entraîner le FSD, Musk a vanté les capacités de conduite autonome de Tesla en octobre 2024 lors d'un dévoilement spectaculaire de robotaxi sur le lot du studio Warner Bros. près de Los Angeles. La foule sur invitation a applaudi tandis que Musk désignait environ 20 prototypes du « Cybercab » à deux portes, dépourvu de volant et de pédales, se déplaçant lentement dans le studio.

« Les voitures passent, sans personne à bord », a-t-il déclaré.

Musk a affirmé que le logiciel de Tesla est conçu pour fonctionner n'importe où, naviguant en temps réel dans des environnements inconnus. Mais pendant les semaines précédant l'événement Cybercab, le personnel a testé les prototypes chaque nuit de 18h jusqu'à l'aube, collectant des vidéos du trajet que les voitures suivraient lors du lancement, selon deux anciens employés de l'annotation de données. Les annotateurs ont passé des centaines d'heures à annoter les trottoirs et les marquages routiers sur la vidéo pour éviter des incidents embarrassants, ont déclaré les employés.

Waymo effectue une telle cartographie à grande échelle avant de se lancer dans des villes spécifiques — une approche que Musk a à plusieurs reprises rejetée comme trop coûteuse et trop lente. En 2024, Musk a raillé les « solutions très localisées » de Waymo comme étant « assez fragiles ».

Après l'événement Warner Bros., Musk a déclaré lors d'une conférence téléphonique sur les résultats de janvier 2025 que Tesla lancerait des robotaxis en juin 2025 à Austin. Il a vanté la technologie comme une « solution d'IA généralisée » qui ne nécessitait pas de « cartes haute précision d'une localité ».

Pendant des mois avant le lancement à Austin, cependant, Tesla a largement filmé des caractéristiques dans une zone de robotaxi limitée pour cartographier la zone, capturant les feux de circulation, les panneaux de signalisation et d'autres éléments. Les annotateurs de données ont annoté ces vidéos pour s'assurer que le logiciel puisse gérer des scénarios difficiles, notamment la prise en charge de passagers et la réponse aux véhicules d'urgence, selon deux employés ayant une connaissance directe du sujet.

Le personnel d'annotation de données de l'Utah, ont déclaré trois des employés, a doublé dans les six mois précédant le lancement à Austin pour atteindre environ 300 travailleurs. Le département, ont-ils dit, travaillait principalement sur des projets visant à faire se dérouler sans accroc le test soigneusement contrôlé d'Austin.

Alors que les annotateurs de données de Tesla se préparaient au déploiement, le logiciel était encore erratique, ont déclaré deux des employés. À chaque mise à jour du FSD, certains comportements de conduite s'amélioraient. D'autres se détérioraient. Dans le bureau de l'Utah, deux grands écrans affichaient des statistiques sur les kilomètres parcourus entre les interventions du conducteur pour le FSD — une mesure clé de la sécurité de la conduite autonome.

« Ça montait et descendait comme le marché boursier », sans amélioration constante, a déclaré l'un des anciens employés.

Les véhicules ont pris la route avec deux ensembles de moniteurs de sécurité humains disponibles pour reprendre le contrôle : l'un assis sur le siège passager avant, et d'autres surveillant à distance. Dans l'Utah, les annotateurs pouvaient voir sur les vidéos quand les moniteurs à distance prenaient le contrôle des véhicules. Un ancien employé a déclaré que les itinéraires d'Austin étaient conçus pour une zone limitée afin que le logiciel des voitures puisse être entraîné de manière approfondie sur des manœuvres spécifiques dans des rues particulières.

« C'était comme, "OK, nous avons entraîné une voiture" » à opérer dans une zone restreinte, a déclaré la personne. « Vous ne pouvez pas être créatif en dehors de cela. »

Quatre des sources ont déclaré qu'une montée en puissance en toute sécurité pourrait prendre des années. En juillet, un mois après le lancement du robotaxi à Austin, Musk a prédit que le service s'étendrait pour desservir la moitié de la population américaine d'ici fin 2025.

En janvier, Musk a faussement affirmé que Tesla exploitait 500 « véhicules robotaxi » à Austin et dans la région de la baie de San Francisco, ajoutant qu'il s'attendait à ce que ce nombre « double chaque mois » selon une « courbe exponentielle ». Musk a affirmé que Tesla exploite un « service de robotaxi » dans la région de la baie alors qu'en réalité, il n'exploite qu'un service de covoiturage sous un permis d'État, généralement utilisé par des chauffeurs, qui nécessite un conducteur humain.

En réalité, près d'un an après le lancement à Austin, Tesla n'y exploite toujours qu'environ 50 robotaxis, selon une récente présentation de diapositives par des responsables municipaux. Les véhicules traversent une zone limitée et soigneusement cartographiée, ont déclaré trois des sources. Certains ont encore des moniteurs de sécurité humains sur le siège passager avant, selon de récentes observations d'un journaliste de Reuters.

En avril, Tesla a annoncé le déploiement de robotaxis à Dallas et Houston, accompagné de cartes montrant les zones desservies.

Des journalistes de Reuters qui ont récemment testé le service dans les deux villes ont constaté de longs temps d'attente et une disponibilité erratique. À trois occasions où un journaliste a réussi à obtenir une course à Dallas, le robotaxi n'a pas pu le déposer à sa destination dans le centre-ville, pourtant dans la zone de service annoncée par Tesla.

À chaque fois, il l'a laissé à environ 15 minutes à pied. – Rappler.com