La restauration commence avec l’abbé Dom Louis Quinet, ancien confesseur du Cardinal de Richelieu : il impose aux moines en 1638 une stricte réforme, en avance sur Savigny et la Trappe, que Dominique George, ancien novice de Barbery, fait ensuite prévaloir au Val Richer. L’Abbaye joue ainsi un rôle important dans la grande réformation de l’ordre de Cîteaux, dite de l’Étroite Observance, au commencement du XVIIe siècle. Dom Louis Quinet est l’auteur de plusieurs ouvrages publiés à Caen et à Paris. Il est une des figures spirituelles les plus marquantes de Barbery.
L’abbaye a un collège et une maison à elle à Caen, avec deux bourses dans un autre collège. Elle y renonce plus tard, mais conserve à ses religieux le titre et les prérogatives d’agrégés de l’université.
Au XVIIIe siècle d’importants travaux de reconstruction et d’ornement sont entrepris par Dom Pierre Poisson et poursuivis par Dom Louis Audéric de Lastours à l’église et ailleurs. Dom Louis Audéric finit d’élever le cloître et le pavillon d’entrée, d’abord pensé en porterie, puis utilisé comme logis abbatial ; il est inhumé dans le sanctuaire en 1732.
Certaines parties des constructions de l’abbaye de Barbery sont remarquables. L’église et le réfectoire sont de style gothique primitif, sans aucun ornement de sculpture, si ce n’est trois ou quatre petites rosaces. L’ église est en forme de croix latine, le réfectoire tout d’un jet, en voûtes hautes larges et hardies, mais sans division ni piliers. Le grand et vaste logis des convers et frères donnés, qui est dans la grande cour, prouve qu’il y a eu au moins deux cents religieux. Des jardins l’agrémentent avec fontaines, jets d’eau et viviers.
Un léger tremblement de terre à Caen en 1776 fait tomber le clocher de pierre de l’église en forme de flèche gothique. Il est remplacé par une construction en charpente et ardoises.
La règle d’étroite observance se maintient jusque dans les derniers temps, puisque, sous l’abbé de Cairon, dernier abbé, ce monastère passe encore pour être le plus austère après celui de la Trappe. Ainsi à Barbery comme à la Trappe, les offices de nuit, les repas au réfectoire subsistent dans toute leur rigueur jusqu’en 1783 ; des règles inflexibles y préviennent toute espèce de sortie ; les cellules sont sans feu et les lits sans linge ; les moines se rasent la tête et se livrent au travail des mains. Leur costume consiste dans une robe de serge blanche, avec ceinture, chaperon et scapulaire noir.
Mais les bâtiments vastes et élégants, édifiés à cette époque et représentés sur un plan cavalier de 1783, apparaissent comme un vêtement trop ample pour une communauté qui ne dépasse plus alors 11 membres. L’abbaye est définitivement abandonnée par les moines à la révolution. Vendue comme bien national en 1791, elle est en grande partie détruite et utilisée en carrière de pierres.