Chercheur en capacités IA pour la cybersécurité

Le chercheur en capacités IA pour la cybersécurité étudie ce que des modèles ou des agents d’intelligence artificielle peuvent accomplir sur des tâches de sécurité informatique définies. Il construit des jeux de données, des bancs d’essai et des prototypes pour mesurer leurs performances, comprendre leurs échecs et préciser les limites des résultats. Son travail fournit aux responsables de recherche et de sécurité des éléments pour décider quelles capacités approfondir et quels usages restent à examiner.

L’objet de recherche doit être explicite : une capacité à trouver une vulnérabilité, à proposer une correction ou à accomplir une tâche cyber dans un environnement de test. Le chercheur relie cette question à des données et à un protocole d’évaluation. Il ne livre pas seulement un score : il explique la tâche, les conditions de réussite et les choix techniques qui ont influencé le résultat. Les recherches publiques de l’AI Security Institute et les benchmarks de Meta illustrent cette mesure expérimentale des capacités cyber.

Le périmètre peut associer développement logiciel, connaissance des vulnérabilités et expérimentation sur les agents IA. L’annonce de Google DeepMind sur le code sécurisé réunit ces activités avec une dimension d’industrialisation. Cette fiche retient le travail de recherche, sans inclure le déploiement d’une solution chez un client. Pour le recrutement, précisez le responsable scientifique, les interlocuteurs cyber et la personne qui décidera des suites à donner aux résultats. Aucun rattachement unique ne s’impose à partir de ces contextes.

Chercheur en capacités IA, pentester et ingénieur IA : qui fait quoi ?

• Le chercheur prend les capacités des modèles comme objet d’étude. Ses livrables sont des évaluations, des données, des prototypes et une analyse des résultats.
• Le pentest opérationnel et la recherche de vulnérabilités ne constituent pas la finalité du poste décrit ici. Des techniques cyber peuvent toutefois servir à construire ses expériences.
• Le déploiement d’une solution IA est une responsabilité à cadrer séparément. Un prototype de recherche ne vaut pas validation d’un usage en production.

L’enjeu du recrutement est d’obtenir des conclusions dont la direction peut comprendre la portée. Une évaluation doit permettre de répondre à une question précise sur un modèle, une tâche et des conditions d’exécution. Elle peut guider le choix d’une nouvelle expérience ou l’examen d’un usage possible. Elle ne suffit pas, à elle seule, à démontrer un risque réel ni une efficacité en production.

Les travaux de Lukošiūtė et Swanda soulignent que l’appréciation du risque doit aussi considérer l’adoption par les acteurs malveillants et l’impact possible. Le programme de l’AI Security Institute cherche, de son côté, à relier les évaluations aux risques réels. Pour un dirigeant, cette distinction évite de confier au chercheur une conclusion que son protocole ne peut pas produire. Demandez quelle décision chaque étude doit éclairer, puis quelles informations supplémentaires cette décision nécessiterait.

La qualité du protocole compte autant que le résultat affiché. À l’AI Security Institute, les évaluations peuvent varier les prompts et les outils accessibles aux agents. Son agenda signale également que des tests rapides peuvent manquer le plafond des capacités. Comparer des scores sans connaître ces conditions risque donc de conduire à une lecture trompeuse des performances. Le candidat doit pouvoir expliquer ce qui a été testé et ce qui reste hors du champ de l’expérience.

Exemple fictif : une équipe compare deux agents sur des tâches de correction de code. Le premier dispose d’outils supplémentaires. Avant de conclure qu’un modèle est plus capable, demandez au chercheur de distinguer l’effet du modèle de celui de l’environnement expérimental. Le livrable utile expose cette limite et propose une comparaison mieux contrôlée.

Un mauvais cadrage du poste peut aussi faire attendre simultanément recherche, audit cyber et livraison d’un produit. Définissez les responsabilités avant de sélectionner le profil. Un résultat négatif reste exploitable si l’expérience est reproductible et si l’analyse précise ce qu’elle apprend sur la capacité étudiée. La réussite du recrutement se juge alors sur la qualité des connaissances produites, avec leurs limites.

• Formuler les capacités cyber à mesurer et les questions auxquelles les expériences doivent répondre.
• Construire des jeux de données adaptés aux tâches cyber étudiées.
• Concevoir des bancs d’essai et des métriques pour mesurer les performances des modèles ou agents.
• Développer des prototypes de recherche pour expérimenter des techniques agentiques.
• Comparer des variantes de prompts et d’outils en documentant les conditions de chaque évaluation.
• Analyser les résultats et les échecs pour préciser les limites des capacités mesurées.
• Documenter les environnements et les données nécessaires à la reproduction des expériences.
• Présenter les conclusions et leurs limites aux interlocuteurs techniques et non techniques.

Le parcours doit réunir des acquis de recherche, de programmation et de sécurité informatique adaptés aux tâches confiées. Examinez ce que le candidat sait construire et expliquer : un protocole, un outil d’évaluation, un prototype ou une analyse de vulnérabilité. Un diplôme renseigne sur une formation, mais ne décrit pas à lui seul l’autonomie dans la conduite d’une expérience.

Les voies documentées diffèrent selon le poste. Google DeepMind mentionne un doctorat dans un domaine technique ou une expérience pratique équivalente pour son poste de recherche sur le code sécurisé. L’AI Security Institute met notamment en avant la programmation Python et l’expérience cyber, avec un accompagnement par le manager et les responsables techniques. Ces exemples ne permettent pas de rendre le doctorat obligatoire pour l’ensemble du métier.

Les réalisations peuvent prendre plusieurs formes. Des publications IA éclairent le travail scientifique. Des outils, des applications d’apprentissage automatique ou des travaux sur les vulnérabilités montrent d’autres acquis. La participation à des CTF, leur conception ou des contributions à des programmes de bug bounty figurent aussi parmi les expériences citées par AISI. Il ne s’agit pas de cumuler tous ces critères : retenez ceux qui correspondent à votre programme de recherche.

Pour un poste accompagné, cherchez la capacité à exécuter et à expliquer une expérience délimitée. Pour un poste autonome, examinez les responsabilités déjà exercées dans le choix des tâches, la construction des évaluations et l’interprétation des résultats. Définissez aussi les compétences disponibles dans l’équipe pour compléter celles du candidat. Le besoin de connaître le fine-tuning ou l’apprentissage par renforcement dépend des recherches prévues, et ne doit pas devenir une exigence automatique.

Pour évaluer ce profil, vous pouvez examiner les critères suivants à partir de travaux publics, d’une présentation autorisée ou d’un cas fictif adapté à vos recherches.

1. Définir les critères du poste

Séparez les capacités attendues : conception d’expériences, programmation, compréhension des tâches cyber et analyse des résultats. Indiquez lesquelles doivent être maîtrisées dès l’arrivée et lesquelles pourront être développées avec l’équipe.

Demandez au candidat de reformuler une question de recherche liée au poste. Une réponse favorable nomme la capacité à mesurer, la tâche et la décision que l’étude pourrait éclairer. Soyez attentif aux promesses d’efficacité opérationnelle qui dépassent ce que l’expérience permettrait d’établir.

Associez un spécialiste de l’évaluation des modèles et un spécialiste cyber à cet examen. Si votre entreprise ne dispose pas de ces compétences, faites intervenir un expert extérieur pour apprécier le protocole et la pertinence des tâches.

2. Examiner une réalisation passée

Choisissez un travail que le candidat est autorisé à présenter. Demandez ce qu’il a personnellement conçu, développé et analysé. Reconstituez la question initiale, les données utilisées, le fonctionnement du prototype et les critères de réussite.

Examinez comment le candidat documente les entrées, les outils accessibles au modèle et les sorties de l’expérience. Demandez ce qu’une autre personne devrait connaître pour reproduire le résultat. La reproductibilité et la vérification qu’une tâche est résoluble constituent des repères documentés par Inspect Cyber.

Un signal favorable est une explication qui relie chaque conclusion à une observation. Une alerte est l’impossibilité de distinguer les résultats du candidat de ceux de l’équipe, ou de préciser les conditions du test.

3. Discuter un cas pratique ciblé

Exemple fictif : votre organisation souhaite comparer deux modèles sur des tâches de correction de vulnérabilités. Fournissez un cadre de travail autorisé et demandez au candidat de proposer une évaluation, sans exiger une solution exploitable en production.

Faites expliquer le choix des tâches, la constitution des données et la métrique retenue. Demandez comment il vérifierait que les tâches sont résolubles. Faites préciser les conditions qui doivent rester comparables entre les essais.

Introduisez ensuite un résultat inattendu. Demandez quelles vérifications permettraient de comprendre l’échec et quelle nouvelle expérience serait utile. Évaluez la démarche plutôt que la capacité à annoncer immédiatement une cause.

Une proposition favorable permet de comprendre ce qui sera mesuré et ce qui restera inconnu. Un protocole dont la conclusion est fixée avant l’expérience constitue une alerte.

4. Évaluer la communication et la coordination

Demandez une restitution courte destinée à un dirigeant, puis une discussion technique du même résultat. Observez si le candidat conserve les limites de l’étude dans les deux versions.

Présentez une situation où les spécialistes cyber et IA ne partagent pas la même interprétation. Demandez comment il clarifierait le désaccord et quelle observation pourrait aider à le résoudre. Si le poste comprend de l’encadrement, examinez aussi les responsabilités exercées pour accompagner d’autres chercheurs.

Une explication claire de l’incertitude est un signal favorable. Une réponse qui transforme systématiquement un score en preuve d’efficacité générale appelle un examen plus approfondi.

5. Recouper les responsabilités exercées

Avec l’accord du candidat, échangez avec des personnes ayant observé son travail. Centrez les questions sur son autonomie, sa contribution aux expériences et sa manière de discuter les conclusions.

Recoupez les responsabilités décrites pendant l’entretien, sans demander de données ou de résultats protégés. Utilisez ces échanges pour éclairer un point précis, comme le choix des métriques ou la conduite d’une étude. Conservez séparément les faits observés et les appréciations de vos interlocuteurs.