Situé aux confins des communes de Dragey et Genêts, le Manoir de Brion était, primitivement, un simple prieuré bénédictin, dépendant de l'abbaye du Mont-Saint-Michel, fondé en l'an 1066, par Raoul de Beaumont, abbé du Mont.

Après avoir servi de maison de repos aux moines âgés et de résidence du père abbé, le prieuré fut supprimé par l'ordonnance du roi Charles VI, en l'an 1387, à la demande de Mgr Laurent de Faye, évêque d'Avranches, et érigé, ainsi que les terres y attenant en fief seigneurial, relevant de la couronne.

Le logis de Brion ne servit plus désormais que de résidence de plaisance des pères abbés et de relais de la cour de France, et aux grands personnages du royaume venant en pèlerinage au Mont-Saint-Michel.

Le roi Charles VI y logea, avec sa suite, lors de sa venue au Mont, en 1393.

Le 26 août 1462, le roi de France, Louis XI, logea également à Brion, en compagnie de son frère Charles, duc de Berry, et de Gaston de Foix, son beau-frère.

En l'an 1509, l'abbé  de Lamps, prieur de l'abbaye, fit commencer la construction du corps de logis principal;  celle-ci ne fut terminée qu'en 1526, par les soins de Jean Le Veneur, évêque de Lisieux, abbé du Mont-Saint-Michel, qui fit parachever les bâtiments dans le style Renaissance.

Le roi François 1er, accompagné de son fils le Dauphin, et du cardinal du Prat, légat du Saint-Siège séjourna à Brion, au cours du mois de mai 1532.

C'est pendant ce séjour du roi à Brion que l'abbé Le Veneur présenta François 1er, le pilote malouin Jacques Cartier, venue dans le but d'obtenir du roi les subsides destinés à l'armement d'n vaisseau en vue d'explorations dans le nord du Nouveau Continent. En souvenir de cet événement, Jacques Cartier donna le nom de Brion à une île dont il fit la découverte dans les parages de Terre Neuve.

On note enfin, le passage ou le séjour au manoir, de différents dignitaires ou personnages marquants du Royaume:

Marie d'Estouteville, duchesse de Bourbon le 17 juin 1576.

La duchesse Gaston d'Orléans, belle-soeur du roi Louis XIII, séjourna, avec sa suite, près d'une semaine à Brion.

Le cardinal de Lorraine, en 1646.

Charles de Broglie, maréchal de France (1719), etc.

Le dernier abbé commendataire du Mont-Saint-Michel, ayant résidé à Brion, fut le cardinal de Montmorency, évêque de Metz, grand aumônier de France (1788).

Comte Jean de Rolland