Fondé en 929, le Prieuré s’est constitué autour d’une communauté religieuse venue s’installer à l’intérieur des murs d’enceinte de Charolles pour des raisons de sécurité.

Rattaché à la puissante Abbaye de Cluny en 1104 et pourvu d’une ferme, le Prieuré qui se situait sur le chemin de Saint Jacques de Compostelle, entre Cluny et Souvigny, avait probablement pour fonction, l’accueil des pèlerins.

Détruit au cours des trois siècles qui suivirent, il fut reconstruit au XVème.

Le site connut à cette époque, une certaine magnificence dont témoignent les plafonds à la française décorés de la salle d’apparat. Cette reconstruction se poursuit jusqu’au XVIème siècle. En 1791, il fut vendu comme Bien National et passa entre les mains de plusieurs propriétaires. En 1829, il devint la propriété de l’Hôpital de Charolles.

Il a été acquis en 1986 par la ville de Charolles.

Le bâtiment, dans son ensemble, a été inscrit à l’Inventaire supplémentaire des Monuments Historiques et la grande salle du rez-de-chaussée classée Monument Historique en 1989.