Privilège à l’époque de sa construction du seigneur possédant le droit de haute justice, le colombier à pied (ou pigeonnier, les deux termes se valant) en impose par sa masse. Comme l’a fort justement écrit Jean Combier, qui a étudié les colombiers d’une autre partie du département, le Mâconnais, le colombier « formait en quelque sorte le contrepoint du clocher dominant le petit cimetière entourant l’église ». Il faut dire que l’édifice était tout à la fois utile et redouté. Utile car les pigeons, qui s’y abritaient, fournissaient une chair appréciée sur la table du seigneur.  Redouté car les volatiles, que les paysans n’avaient pas le droit de chasser, se nourrissaient alentour en n’ayant cure des soucis de la culture ! Comme le château en lui-même, le colombier symbolisait donc bien la puissance seigneuriale avant la Révolution française.

La terre de Granges était de très longue date une propriété ecclésiastique puisqu’elle appartenait à l’abbaye de Saint-Martin d’Autun, ainsi que le montre la confirmation de cette propriété que fit, au profit de l’abbaye, le roi Raoul en 923. Or, en 1570, dans le contexte troublé des Guerres de Religion, l’abbaye d’Autun, peut-être par besoin d’argent, vendit la seigneurie de Granges à Nicolas de Pontoux, avocat à Chalon. C’est peu de temps après, en 1579, que fut bâti le château et sans doute aussi édifié le pigeonnier attenant. Le château et la seigneurie de Granges restèrent dans la même famille pendant des générations. Vers 1630, le seigneur de Granges est ainsi Claude Depontoux, avocat au Parlement de Bourgogne et maire de Chalon. Sa petite-fille, Marie Depontoux, se maria en 1684 à François Delavigne, lieutenant particulier au bailliage de Chalon. En 1769, une descendante directe de ce couple, Marie Delavigne, apporta la seigneurie de Granges en dot à Jean-Louis Bernigaud de Chardonnet, lieutenant au bailliage de Chalon, qui devait devenir député aux Etats Généraux de 1789 et être le dernier seigneur de Granges. Jean-Louis Bernigaud de Chardonnet compta du reste parmi ses arrière-petits-fils Hilaire de Chardonnet, inventeur de la soie artificielle.