Dès l’époque d’Anselme pourtant, cette méthode trouva des contradicteurs du côté des dialecticiens : si des hommes comme Pierre Damien et Manegold, avaient, au début du siècle, protesté contre l’abus que l’on faisait de la dialectique contre la foi, il se trouva alors d’autres hommes pour critiquer, au moins implicitement, l’usage que l’on en faisait pour comprendre la foi. Aux yeux de ceux que saint Anselme appelle les « hérétiques de la dialectique », c’est-à-dire de Roscelin et de ses partisans que l’on appela plus tard les nominalistes, les concepts employés par la dialectique ne désignent aucune réalité différente de celle que nous percevons par les sens. Roscelin, né à Compiègne en 1050, et qui enseigna en diverses parties de la France, à Soissons, à Reims, à Compiègne, à Loches, à Besançon et à Tours, fut en effet forcé par le concile de Soissons, en 1092, d’abjurer sa doctrine sur la Trinité. Cette doctrine tendait vers le trithéisme, qui voit dans les trois personnes trois Dieux distincts. Et, dans l’opinion de saint Anselme, cette erreur théologique était liée étroitement à la conception nominaliste en dialectique : « Qui ne comprend pas encore comment plusieurs hommes sont spécifiquement un seul homme, de quelle façon comprendrait-il comment, dans la nature la plus mystérieuse, plusieurs personnes, dont chacune est un Dieu parfait, soient un seul Dieu 0 ? » Saint Anselme attribue le nominalisme, qui voit dans les universaux, selon son expression, de simples flatus vocis, à une incapacité intellectuelle d’hommes qui, par là même qu’ils ne peuvent comprendre l’unité d’une pluralité dans une espèce, pourront encore moins élever la foi à l’intelligence. La théorie, qu’on peut appeler réaliste, des universaux apparaît donc nettement, dans cette critique, comme une préface nécessaire à l’intellectualisation de la foi. C’est surtout par des critiques de ce genre que l’on connaît le nominalisme de Roscelin qui, lui-même, n’a rien écrit 0, et c’est d’ailleurs moins la querelle des nominaux et des réaux, en elle-même, que son rapport à la théologie qui devait passionner les hommes de ce temps. Mais que pouvaient être les arguments positifs de Roscelin ? On ne peut que l’inférer. Son nominalisme nous apparaît à travers les critiques d’Anselme et d’Abélard comme composé de trois thèses distinctes : la négation de la réalité des universaux, la négation de la réalité des accidents 0, la négation de la réalité des parties d’un tout 0. Ces trois thèses paraissent bien dépendre de la thèse positive suivante : il n’existe que des individus au sens fort, c’est-à-dire des indivisibles, non point à la façon des atomes, mais comme des touts que toute décomposition anéantirait comme tels, comme si l’on voulait enlever la sagesse à l’âme ou la couleur au corps. C’est sans doute chez Aristote, connu à travers Boèce, que Roscelin a pris le principe de cet exposé ; Boèce était d’opinion que les Catégories d’Aristote classaient, sous les dix genres, non pas des êtres, mais des mots ; d’où il ressortait que les voix de Porphyre, c’est-à-dire les universaux, étaient elles-mêmes des mots. Ajoutons que la critique des idées platoniciennes, d’où résultait que l’individu seul possédait l’existence, était en partie connue. Enfin, Abélard dit : « Roscelin, pseudo-chrétien autant que pseudo-dialecticien, en même temps qu’il dit dans sa dialectique que le mot seul, et non la réalité, a des parties, change impudemment le sens de l’Écriture sainte, si bien que, au passage où il est dit que le Seigneur mangea la partie d’un poisson, il est forcé d’entendre la partie de ce mot qui est un poisson non la partie d’une chose 0 » ; sous cet exposé intentionnellement malveillant, il est bien facile de reconnaître l’adage répandu d’Aristote : « Le bras séparé du corps n’est plus un bras que par homonymie. »
Le « trithéisme » de Roscelin se rattache à son nominalisme ; si, selon la troisième thèse, il n’y a pas en une substance de division réelle en parties, il faut admettre, si la distinction des personnes est réelle, qu’elles sont « distinctes entre elles comme trois réalités, trois anges ou trois âmes »0 ; toutefois il ne dit pas qu’il y a trois dieux, mais qu’«on pourrait dire qu’il y a trois dieux, si l’usage le permettait»0. Cette réticence prouve que Roscelin prétendait rester l’interprète fidèle du dogme. Il ne voit d’ailleurs d’autre alternative, si l’on n’admet pas le trithéisme, que de faire des trois personnes une réalité unique (res una), d’où résulterait, contrairement au dogme, que le Fils ne s’est pas seul incarné. On voit comment les nominalistes sont conduits, par leur interprétation de la dialectique, à trouver des difficultés dans le dogme plutôt qu’à l’interpréter : nous verrons plus tard comment les nominalistes du XIVe siècle ont renoncé à résoudre ces difficultés et ont ainsi séparé la dialectique de la théologie.