L’intelligence Artificielle (IA) peut être d’une aide considérable, mais il faut considérer que les réponses de ces IA, peuvent factuellement être fausses. De plus, les réponses peuvent différer d’une IA à l’autre. Nous avons testé ChatGPT (version payante) et DeepSeek (version gratuite) sur une question précise de droit. Voici les questions et les résultats (catastrophiques) des deux intelligences artificielles :
Sommaire
Les questions posées à ChatGPT et DeepSeek
1ʳᵉ question initiale :
« Donne-moi les obligations des employeurs pour la mise à disposition d’une convention collective dans l’entreprise et le texte de référence du droit du travail »
Reformulation de la question initiale pour préciser la 1ʳᵉ question (2)
« Quel est le texte de loi qui oblige l’employeur à mettre à disposition une convention collective dans l’entreprise ? »
Ce que nous cherchions à obtenir, c’est de connaitre la référence de l’article du texte de loi, sachant que l’information est disponible en source ouverte dans Légifrance. Normalement, pour une IA, cela doit être un exercice facile. Vous allez voir que cela a été particulièrement laborieux.
La comparaison des réponses en vidéo de DeepSeek et ChatGPT
Les réponses des intelligences artificielles
| Nombre d’itérations | DeepSeek | ChatGPT |
| 1 | Réponse fausse à la question 2 | Réponse fausse à la question 1 |
| 2 | Bonne réponse à la question 2 | Réponse fausse à la question 2 |
| 3 | Réponse fausse à la question 2 | |
| 4 | Réponse fausse et même totalement inventée à la question 2 |
Quelle était la bonne réponse ?
La bonne réponse était l’article « Article R2262-1 », qui précise :
« À défaut d’autres modalités prévues par une convention ou un accord conclu en application de l’article L. 2262-5, l’employeur :
- 1° Informe le salarié des conventions et accords collectifs applicables dans l’entreprise ou l’établissement dans les conditions prévues par les articles R. 1221-34 et R. 1221-35.
- 2° Tient un exemplaire à jour de ces textes à la disposition des salariés sur le lieu de travail.
- 3° Met sur l’intranet, dans les entreprises dotées de ce dernier, un exemplaire à jour des textes. »
Quelle intelligence artificielle a fourni la bonne réponse ? ChatGPT ou DeepSeek
Le gagnant est DeepSeek qui a délivré la bonne réponse au bout de la 2° itérations.
ChatGPT a quant à lui, délivré trois mauvaises réponses pour indiquer, finalement, qu’il n’existe pas de texte de loi qui oblige expressément l’employeur à afficher ou à mettre à disposition dans l’entreprise un exemplaire complet de la convention collective. Alors que cette disposition figure, bien, dans l’article R2262-1 du Code du travail.
Il y a tout lieu de s’interroger sur le fonctionnement de ChatGPT qui lieu, répondre un « Je ne sais pas » invente délibérément une réponse. Si une IA était humaine, les troubles qui la caractérisent relèveraient de la Mythomanie. Et, nous arrivons à la conclusion, que pour utiliser correctement une intelligence artificielle, il est indispensable de maîtriser son sujet. Sinon, cela peut rapidement virer à la catastrophe.
En vidéo
Foire aux questions (FAQ) sur ChatGPT et DeepSeek
Autres articles sur l’actualité
En complément, nos autres publications autour de l’actualité :
Votre avis et vos conseils sur l’utilisation des outils d’intelligence artificielle comme ChatGPT et DeepSeek nous intéressent :
Dites-le-nous dans les commentaires. MERCI.
