Le 25 août, ses parents ont porté plainte contre OpenAI, l’entreprise qui développe ChatGPT. Anticipant le tollé, l’entreprise californienne a annoncé dès le lendemain l’instauration d’un contrôle parental sur son robot conversationnel aux 700 000 utilisateurs mondiaux. Ce mécanisme, comparable à ceux des réseaux sociaux, sera mis en place « ce mois-ci », a annoncé OpenAI sur son site mardi 2 septembre.

Concrètement, à en croire l’entreprise, tout parent pourra désormais associer son compte sur ChatGPT à celui de son enfant mineur. À partir de là, si le système détecte dans la conversation de l’adolescent une situation de « détresse aiguë », l’adulte en sera notifié. Ce dernier pourra aussi s’assurer que le compte de son enfant a été correctement paramétré, avec des règles de modération et un ton adapté à son âge – paramètres qui seront activés par défaut sur les comptes des utilisateurs de moins de 18 ans, assure l’entreprise.

« Le problème, c’est qu’on peut utiliser ChatGPT sans s’être créé de compte », souligne Axelle Desaint, directrice du programme européen Internet sans crainte. Et même si l’on s’en crée un, se « vieillir » en inscrivant une fausse date de naissance est une stratégie désormais éculée. Comme les réseaux sociaux, les « chatbots » sont d’ailleurs interdits aux moins de 13 ans ; mais seulement en théorie, puisque l’âge n’est pas vérifié. « Ces systèmes sont massivement utilisés par les plus jeunes »,déplore Axelle Desaint, qui s’alarme qu’ils puissent prendre ces machines pour leur « ami ». « Leurs parents ne s’imaginent même pas ce qu’on peut faire avec. »

Le profit de ces entreprises d’IA étant corrélé à leurs nombres d’utilisateurs, elles conçoivent leurs « machines à prédire le prochain mot » de manière à ce qu’elles valorisent leurs idées et évitent d’entrer en conflit avec eux. Ainsi, l’expérience sera agréable et l’internaute reviendra… Mais quand celui-ci est vulnérable, aller toujours dans son sens peut s’avérer dramatique. Le phénomène est comparable aux « spirales mortifères » déjà dénoncées depuis des années sur TikTok ou Instagram : sur ces plateformes, une adolescente anorexique se verra par exemple suggérer des flux incessants de contenus liés aux troubles alimentaires.

Au-delà du contrôle parental, aisément contournable, OpenAI a annoncé d’autres changements dans les trois prochains mois. Quel que soit l’âge de l’utilisateur, l’entreprise promet de rediriger automatiquement certaines « conversations sensibles »(où l’internaute montre des signes de détresse) vers des modèles algorithmiques présentés comme plus évolués.

L’entreprise vante notamment les mérites de son « modèle de raisonnement »GPT-5-thinking, qui fournirait bien moins de « réponses inappropriées » liées à la santé mentale que son prédécesseur GPT-4. Des numéros d’urgence devraient aussi être plus régulièrement suggérés aux internautes en détresse.

Encore faut-il que le système sache détecter les situations à risque. L’envoi par le jeune Adam Reine d’une photo de nœud coulant dans sa « conversation » avec ChatGPT n’avait donné lieu à aucune alerte… Pour justifier ce défaut de vigilance, OpenAI a expliqué que plus un échange avec son robot s’étire dans le temps, moins ses garde-fous sont efficaces. Face à ce problème, l’entreprise a annoncé que les fonctionnalités de mémoire et d’historique des conversations pourraient bientôt être désactivées dans le cadre du contrôle parental.