La spécificité de la recherche juridique

La recherche juridique est à plus d’un titre spécifique sans que cette originalité doive être toutefois être perçue comme le signe d’une volonté de se soustraire aux exigences de l’évaluation. Il est ainsi difficile de transposer à cette discipline les méthodes bibliométriques, couramment appliquées aux publications scientifiques dans d’autres domaines. Cette réalité tient à plusieurs raisons.

Alors que dans bien des disciplines, les publications prennent la forme d’articles de revue, une part importante des publications juridiques de haut niveau se fait non seulement dans des revues mais aussi dans d’autres supports (manuels, essais, mélanges, chapitres d’ouvrages, codes annotés, publications à feuillets mobiles). Dans cette perspective, il est indispensable de concevoir une méthode d’évaluation permettant d’appréhender cette diversité.

Par ailleurs, la recherche juridique a une dimension essentiellement nationale. L’insertion d’une branche du droit dans un environnement éditorial et plus largement universitaire internationalisé dépend principalement de son objet. Ainsi, les travaux de droit international, de droit européen, de droit comparé ou de théorie du droit auront sensiblement plus de chance de bénéficier d’une visibilité dépassant le cadre strictement national que des travaux (fussent-ils d’excellent niveau) en lien avec telle ou telle problématique de droit interne (public ou privé). Cette réalité invalide le recours aux instruments bibliométriques existants dans la mesure où ceux-ci tiennent prioritairement compte de la production anglophone. Dit autrement, on ne saurait s’appuyer sur des bases de données qui ne prennent en considération que marginalement la production scientifique des chercheurs francophones et plus précisément celles des juristes français.

La recherche en droit a, enfin, une dimension fondamentale autant qu’appliquée. Le fait qu’une recherche soit développée en lien avec des considérations pratiques et s’adresse à un public débordant le cercle de lecteurs académiques n’en affecte pas nécessairement la scientificité. Nécessitant la mise en œuvre de procédés propres à la recherche juridique (compilation, analyse documentaire, commentaires…), il n’est en effet aucune raison de dénier une qualité scientifique à un pan substantiel des activités conduites dans les facultés de droit. Cet élément conduit à constater que la distinction, structurante dans d’autres disciplines, entre revues dites académiques et revues professionnelles n’est pas toujours aussi tranchée dans le monde du droit.

Quelle(s) méthode(s) d’évaluation alternative(s) ?

Sans craindre d’être schématique, on peut distinguer deux méthodes principales d’évaluation. La méthode bibliométrique se fondant à titre principal sur des éléments de nature quantitative et la méthode qualitative se fondant sur une appréciation du contenu des publications examinées.

L’impossibilité bibliométrique

S’agissant des sciences juridiques francophones, le recours à l’outil bibliométrique n’est pas, du moins en l’état actuel des choses, pertinent tant il paraît ignorer la réalité de la production scientifique dans ce domaine.

Il est également possible de mesurer la qualité d’un article, d’une revue ou d’un ouvrage au nombre de citations dont il aura été l’objet. Pas plus que le précédent, cet instrument ne semble adapté aux particularités du mode de publication en science juridique. Notamment parce que la mesure du nombre de citations est subordonnée au recensement préalable des matériaux bibliographiques primaires sur une banque de données, ce qui, faute d’outils adéquats, reste trop rarement le cas de la production doctrinale juridique, du moins francophone.

Une approche qualitative

Pragmatiques, nous ne cédons pas, en l’état, au tropisme "bibliométrique". Nous sommes, en revanche, pleinement conscients de la nécessité de mettre en place un système de pondération nous permettant de mesurer (sans concession) l’intensité de l’activité des équipes. À nous de fixer un seuil raisonnable qui permette de rendre le plus justement compte du degré réel d’activité au sein des laboratoires. Le but est bien d’intégrer à un processus d’évaluation nécessairement empreint de subjectivité des éléments d’objectivation propres à en renforcer, aux yeux des membres de notre communauté, la légitimité. Aussi, devant l’inadaptation de la méthode bibliométrique, convient-il de réfléchir à la définition d’instruments d’appréciation qualitative des publications. Il nous appartient alors de proposer des critères susceptibles de rendre compte, pour partie de manière transversale, de la qualité des supports appréhendés dans toute leur diversité (revues, livres, …). Il s’agit, en effet, d’apprécier à terme la qualité non seulement de revues mais aussi d’autres types de publications. Nous songeons ici aux :

 Livres, catégorie se subdivisant elle-même en plusieurs sous-catégories (traités, manuels, essais, ouvrages de vulgarisation)
 Chapitres d’ouvrages (contributions aux mélanges, participation à un ouvrage collectif type actes de colloques publiés ou résultats d’une recherche collective)
 Ouvrages à feuillets mobiles (type fascicule de jurisclasseur, encyclopédies…)
 Publications scientifiques d’appui (par ex. codes annotés).

À ce stade, nous nous concentrerons d’abord sur le traitement des revues (lato sensu).

Dans un premier temps, on peut formuler des critères liés aux modalités de fonctionnement et d’organisation des publications examinées. Il est certain qu’ils seront plutôt applicables aux revues.

La "gouvernance" éditoriale de la revue (critère 1)

La première question qui se pose ici est celle de savoir si la revue dispose d’un comité de lecture. Il faut ensuite en apprécier la composition (comprend-il des membres étrangers ?) et la sélectivité. Le marché considéré est en surcapacité (ce dont témoignent, par exemple, les difficultés à procéder à un recensement le plus exhaustif possible des revues juridiques). Ce n’est pas outrager la vérité que de constater que si les responsables éditoriaux exercent le plus souvent leur office avec un haut degré de conscience professionnelle, ils ne s’astreignent que rarement au respect de critères de sélection prédéfinis et portés à la connaissance du public. Cette situation donne le sentiment d’un nivellement préjudiciable à la reconnaissance de la qualité de la production scientifique juridique dans son ensemble. On ne peut donc être que sensible à la mise en œuvre par une revue d’une procédure d’évaluation "à l’aveugle" des articles proposés (même s’il convient de ne pas sous-évaluer les difficultés de fonctionnement inhérentes à un tel dispositif).

Diffusion et visibilité de la revue (critère 2)

Au titre de ce critère, on peut tenir compte, par exemple, de :

 la présence de contributions et/ou de résumés en (au moins) une langue étrangère
 l’ancienneté de la revue
 sa diffusion sur Internet
 la régularité éditoriale
 la constance du niveau scientifique moyen

La qualité scientifique de la publication par l’analyse de son contenu (critère 3)

Au titre de ce critère, le plus délicat à apprécier mais à l’évidence le plus important, il faut essayer de saisir l’originalité scientifique et le degré d’approfondissement des contributions examinées. L’on s’attachera ainsi à faire le départ entre les études purement reproductives et celles se distinguant par un apport personnel de leur auteur à la compréhension d’une problématique ; à identifier les textes formulant, sur un sujet, des idées nouvelles (au regard de celles qui prévalent), ébauchant les contours de concepts nouveaux, mobilisant des méthodes de recherche novatrice ou sollicitant les vertus d’une approche comparatiste ou encore pluridisciplinaire. Il conviendra, à ce titre, de s’interroger sur le point de savoir si la problématique est appréhendée en profondeur (mobilisation de sources nombreuses, mise en perspective du sujet …) et si le raisonnement est conduit à l’aune d’arguments suffisants pour permettre d’aboutir à des conclusions scientifiques significatives. On peut, sur cette base, classer qualitativement les différents types de textes (que nous distinguerons eux-mêmes en deux catégories formelles : les annotations, d’une part, et les articles et contributions, d’autre part). Sur la base des trois critères identifiés, nous devrions pouvoir définir des modalités de classification des publications juridiques se fondant sur un barème combinatoire. Dans cette perspective, il paraît opportun de ne pas surévaluer la part des deux premiers critères qui renvoient à des données de type formel et de privilégier plutôt le troisième critère plus étroitement lié à des considérations de fond :

La "gouvernance" éditoriale de la revue (critère 1) = 5 points

 Existence d’un comité de lecture [2 points]
 Composition du comité de lecture [1 point]
 Procédure de sélection des articles [0, 1 ou 2 points]

Diffusion et visibilité de la revue (critère 2) = 3 points (il s’agit d’un plafond) ; il faut satisfaire trois des cinq critères suivants

 L’ancienneté de la revue
 Diffusion sur Internet
 Régularité éditoriale
 Constance du niveau scientifique moyen
 Présence de contributions et/ou de résumés en (au moins) une langue étrangère

La qualité scientifique de la publication (critère 3) = 12 points

 L’originalité scientifique (il faut satisfaire deux des trois sous-critères suivant) • Valeur ajoutée scientifique (0, 3 ou 6 points)

• Transversalité (1 point)

• Diversité bibliographique / innovation méthodologique (1 point)

 Le degré d’approfondissement scientifique (0, 2 ou 5 points)

Une classification en trois groupes : A (supérieur à 15 points), B (entre 7 et 14 points), C (inférieur à 7 points).

Modalités de mise en œuvre la méthode proposée

La formulation de critères de classification constitue une étape importante du processus. Elle n’en marque pas pour autant le terme. En effet, il faut, dans un second temps, définir les voies et moyens d’une expertise conduite sur la base des critères ainsi arrêtés. Cela suppose, s’agissant du moins des revues, que l’on procède méthodiquement par phases successives :

 Etablissement d’une liste de revues juridiques entrant dans le champ de l’évaluation. Evidemment susceptible d’évoluer dans son contenu, cette liste comprendra prioritairement des revues françaises, francophones et certaines revues étrangères de référence (ex. AJIL ; CMLR, ELR ; ELJ ; EJIL ; Europarecht…).
 Évaluation des revues (à l’aune des critères énoncés) par des commissions constituées sur une base disciplinaire. Les experts définiront la qualité scientifique moyenne de la revue évaluée en calculant la notation moyenne de l’ensemble des articles, annotations et contributions qui y auront été publiés pendant la période de référence.
 Le classement d’une revue dans l’une des trois catégories n’est pas immuable. Une revue dont les responsables veilleraient, par exemple, à mettre en œuvre un dispositif de sélection ou encore à hausser le niveau scientifique moyen des articles publiés peut être classée dans le groupe supérieur. Cela suppose toutefois une mise à jour régulière des classements effectués.

L’évaluation des supports de publication autres que les revues sera conduite en tout ou partie par référence aux mêmes critères [1] sans que l’exercice revête, cependant, un caractère aussi systématique. S’agissant, en revanche, des ouvrages il appartiendra aux collègues en charge de l’expertise des unités et laboratoires de procéder à cette évaluation lors du décompte des "produisant en recherche et valorisation". Il est, en effet, évident que, dans ce cas, à l’exception du critère 3 les autres exigences s’avèreront inapplicables ou dénuées de pertinence.