Prompt Engineer

Le prompt engineer est le spécialiste qui conçoit, teste et améliore les instructions adressées aux modèles de langage pour un usage défini. Il traduit un besoin métier en consignes compréhensibles par le modèle, puis compare les réponses obtenues à des critères explicites. Son travail porte sur les prompts et les instructions système qui encadrent le comportement du modèle.

Cette activité associe rédaction et expérimentation. Une consigne peut préciser l’objectif, apporter du contexte ou présenter des exemples de réponses attendues. Toutes ces composantes ne sont pas nécessaires à chaque tâche. Le spécialiste choisit celles qui servent l’usage, observe les erreurs et modifie les instructions en conséquence. La qualité du travail se juge donc aussi à la démarche de test, au-delà de la formulation retenue.

Pour cadrer le poste, précisez qui définit les attentes métier, qui valide les réponses et qui intègre les instructions dans l’application. Le Prompt Engineer doit pouvoir échanger avec les interlocuteurs qui connaissent le domaine et ceux qui développent la solution. Son rattachement mérite d’être choisi en fonction de ces collaborations, sans lui attribuer automatiquement la responsabilité de toute l’application IA.

Prompt Engineer, AI Engineer et LLMOps Engineer : qui fait quoi ?

• Le Prompt Engineer concentre son intervention sur les instructions, leur évaluation et leurs améliorations successives.
• L’AI Engineer conçoit et intègre des solutions IA aux applications, avec un champ plus large que les seuls prompts.
• Le LLMOps Engineer intervient sur l’exploitation en production, l’observabilité et la fiabilité des systèmes utilisant des modèles de langage.

La fiche couvre le travail sur les instructions, sans y inclure la recherche en IA ni l’exploitation générale des modèles. Cette limite aide à définir un poste cohérent : améliorer un prompt ne suffit pas à résoudre tous les problèmes de coût, de latence ou de fonctionnement d’une application.

L’enjeu est de savoir quelles réponses l’entreprise peut considérer comme satisfaisantes pour un usage donné. Une sortie convaincante à première lecture peut échouer sur une demande ambiguë ou sur une entrée inhabituelle. Le travail du Prompt Engineer consiste notamment à rendre ces différences visibles, afin de choisir les instructions sur des résultats comparables.

Le premier risque d’un recrutement mal cadré est de confondre aisance rédactionnelle et capacité d’évaluation. Une personne peut produire une consigne élégante sans expliquer ce qu’elle améliore. À l’inverse, multiplier les mesures ne sert guère si personne n’a défini les qualités attendues de la réponse. La décision structurante porte sur les critères : quels éléments doivent être présents, quelles erreurs sont importantes et comment apprécier les cas discutables ?

Exemple fictif : une équipe veut utiliser un modèle pour classer des demandes reçues. Un premier prompt fonctionne sur les demandes simples, mais attribue une catégorie aux messages qui ne contiennent pas assez d’informations. Le spécialiste peut introduire une consigne adaptée, puis comparer les résultats sur les cas simples et ambigus. Le résultat utile est de savoir quelles erreurs diminuent et lesquelles persistent.

Le choix des essais compte autant que celui des mots. Des situations représentatives permettent d’examiner l’usage courant. Des cas difficiles révèlent des limites que des démonstrations favorables laisseraient passer. Une appréciation qualitative peut compléter des mesures chiffrées, à condition que les critères soient définis et appliqués de manière cohérente.

Enfin, l’organisation doit pouvoir reconnaître les problèmes qui dépassent les instructions. Pour certaines difficultés de coût ou de latence, choisir un autre modèle peut être plus approprié. Attendre du spécialiste qu’il corrige tout par le texte expose à prolonger des essais sans traiter la cause. Son apport comprend la capacité à expliquer cette limite aux décideurs.

• Clarifier le résultat attendu avec les interlocuteurs métier et le traduire en critères d’évaluation.
• Concevoir les prompts et les instructions système adaptés à la tâche et au contexte fourni.
• Sélectionner des exemples utiles pour orienter les réponses du modèle.
• Construire des cas de test représentatifs, incluant des entrées ambiguës ou inhabituelles.
• Comparer les variantes de prompts à une version de référence selon les critères retenus.
• Analyser les erreurs persistantes pour orienter les itérations suivantes.
• Automatiser les essais avec Python et les API lorsque le travail confié le nécessite.
• Documenter les versions et leurs résultats pour permettre la reprise du travail par l’équipe.

Pour apprécier une formation de Prompt Engineer, regardez les acquis qu’elle permet de mobiliser : comprendre les limites d’un modèle, rédiger des instructions et organiser des essais. Un intitulé de diplôme ou de cours ne décrit pas, à lui seul, la capacité à relier ces activités à un besoin métier. Le niveau de programmation attendu doit également correspondre aux tâches confiées.

Deux voies d’apprentissage pratique sont documentées. Le cours ChatGPT Prompt Engineering for Developers de DeepLearning.AI fait travailler la rédaction et l’itération des prompts avec une API et des notebooks Jupyter. Il demande des bases de Python. Anthropic propose également des tutoriels interactifs. Ces ressources illustrent des possibilités d’apprentissage, sans constituer une formation obligatoire ni une preuve suffisante d’autonomie professionnelle.

Un travail réalisé pendant une formation devient plus instructif s’il conserve le besoin initial, les différentes instructions essayées et les résultats obtenus. Il permet alors de comprendre ce que la personne a appris à modifier et à mesurer. Pour un poste technique, un programme d’essai lisible apporte aussi un élément concret sur sa capacité à utiliser une API et à automatiser des comparaisons.

Adaptez enfin l’expérience recherchée aux responsabilités. Exécuter des tests dont les critères sont déjà définis et concevoir l’ensemble de l’évaluation demandent des autonomies différentes. Une personne connaissant bien le domaine doit pouvoir acquérir les bases techniques nécessaires aux essais. Une personne issue du développement doit apprendre à expliciter les attentes métier et à juger les réponses dans leur contexte. Ces compléments se déterminent à partir du poste, sans déduire un niveau d’autonomie du seul parcours.

Le socle commun de l’évaluation GetPro

GetPro structure l’évaluation autour d’une grille d’une dizaine de critères au maximum. Elle distingue les éléments vérifiables sur le parcours des compétences à approfondir en entretien et associe une modalité d’évaluation à chaque critère. L’entretien explore les critères clés par des questions ouvertes et des exemples concrets. La prise de références sert à recouper les responsabilités exercées, les points forts et les points à approfondir, en replaçant les exemples dans leur contexte.

Conseils pour évaluer un Prompt Engineer

Les étapes suivantes sont des pistes à adapter aux responsabilités du poste. Elles proposent des critères et des exercices propres au métier, sans décrire un protocole spécifique appliqué par GetPro.

1. Définir les critères et l’autonomie attendue

Établissez une grille couvrant la formulation des instructions, le choix des essais, l’analyse des résultats et l’explication des limites. Reliez chaque critère à une tâche que la personne devra accomplir.

Distinguez deux situations. Pour une autonomie encadrée, fournissez les critères et les cas de test. Pour une responsabilité de conception, demandez au candidat de les construire et de justifier ses choix.

Retenez comme signal favorable des critères assez précis pour départager deux réponses. Une promesse générale de « meilleur résultat », sans mode d’appréciation, mérite d’être approfondie.

2. Examiner une réalisation passée

Demandez une réalisation que le candidat peut partager, avec son objectif, une première version des instructions et les modifications suivantes. Faites préciser son rôle personnel et les décisions prises avec d’autres intervenants.

Invitez-le à expliquer une amélioration observée et une erreur encore présente. Cherchez le lien entre les essais, les résultats et les modifications retenues. Une présentation limitée aux meilleures réponses ne permet pas de juger la robustesse de la démarche.

Si le poste demande de programmer, examinez aussi comment les appels au modèle et les comparaisons ont été automatisés. Adaptez cette vérification au niveau technique réellement nécessaire.

3. Proposer un cas pratique proche du poste

Préparez un exercice délimité, avec des données partageables et un résultat métier compréhensible. Prévoyez des entrées courantes et quelques situations ambiguës. Demandez une version initiale, une itération et une explication de leurs différences.

Exemple fictif : donnez au candidat des demandes à classer, dont certaines sont incomplètes. Invitez-le à définir les réponses acceptables, puis à comparer deux consignes sur les mêmes demandes.

Observez la manière dont il choisit les exemples et traite les désaccords de notation. Demandez-lui ce qu’il peut conclure des essais et ce qu’il faudrait encore tester. Valorisez une conclusion limitée aux résultats disponibles.

Une alerte utile est l’absence de version de référence, qui rend l’amélioration difficile à apprécier. Une autre est la modification simultanée des critères et des consignes sans explication des conséquences.

4. Évaluer la collaboration et la communication

Demandez au candidat de présenter ses conclusions à un interlocuteur non technique. Évaluez sa capacité à expliquer les erreurs restantes et à distinguer une limite des instructions d’un problème nécessitant une autre intervention.

Faites préciser les informations qu’il demanderait à l’expert métier et au développeur. Si le poste comprend de l’accompagnement, examinez comment il aiderait un collègue à reprendre les essais et à comprendre ses choix.

En l’absence d’expertise technique interne, associez un évaluateur compétent sur les modèles et les tests à un représentant du métier. Confiez au premier l’examen de la démarche technique et au second la pertinence des critères.

5. Recouper les responsabilités exercées

Avec l’accord du candidat, utilisez les références pour préciser les responsabilités réellement tenues. Interrogez les interlocuteurs sur sa contribution aux critères, aux essais et à la communication des limites.

Comparez leurs réponses aux réalisations présentées. Cherchez des éléments concrets sur l’autonomie et la coopération, en tenant compte du contexte de travail. Évitez de transformer une appréciation générale en preuve d’une compétence technique précise.