L’histoire du lieu-dit et du château
Castel Noël est construit sur une éminence rocheuse et localisé sur la commune de Brommat dans le département de l’Aveyron, à seulement 45 km au sud des monts du Cantal et à 90 km au nord de Rodez. Des traces d’occupations gallo-romaines ont été retrouvées aux alentours de Castel Noël, sur la commune de Brommat et au lieu-dit de Cussac, à seulement quelques kilomètres au sud.
Castel Noël est un ancien château féodal dont les seigneurs étaient les vassaux des vicomtes de Carlat. La vicomté, tout comme le château de Castel Noël, ont été des points clef dans la domination du Carladès par une famille puissante, les « de Carlat ». Vicomtes du Carladès dès l’an Mil, les « de Carlat » se maintiennent dans le château de Calhac - ancien nom de Castel Noël - pendant plus de 600 ans. Le château est légué au 11e siècle par la vicomtesse de Carlat, Agnès, à son fils aîné, Bernard. De cette famille descend une branche cadette dont les membres sont seigneurs de Calhac pendant plusieurs centaines d’années.
Astorg de Carlat, seigneur de Calhac, est très certainement celui qui fait reconstruire et moderniser les logis du château au milieu du 14e siècle, changeant le nom de Calhac pour « Castelo Novo » qui deviendra plus tard Castel Noël. Son donjon circulaire en basalte, daté du 12e ou 13e siècle, est sans doute déjà présent sous une autre forme lorsque Bernard, fils d’Agnès de Carlat, en prend possession au 11e siècle. Les indices architecturaux qui le composent laissent penser que sa hauteur originelle (il manque un tiers de l’édifice) était un atout militaire et un point de surveillance stratégique sur la vallée du Siniq.
Lieu de refuge temporaire pour les enfants de Jacques d’Armagnac après son exécution, Castel Noël a été la demeure de ses seigneurs jusqu’au 17e siècle, période à laquelle Marguerite d’Humières, veuve de Marc-Antoine de Carlat seigneur de Castel Noël, décède sans descendance et sans s’être remariée. C’est alors toute la famille des Carlat de Castel Noël qui s’éteint avec elle.
A la Révolution, seules les armoiries d’Astorg de Carlat au-dessus de l’ancienne porte d’entrée sont détruites. Au 19e siècle, une partie du vieux donjon est détruite par Antoine Chapt de Rastignac, propriétaire, officier de la légion d’honneur de l’Empire et général de brigade en retraite.
Le château devient la propriété de plusieurs notables des environs durant la première moitié du 20e siècle, puis il est racheté en 1962 par M. Julien Ladoux, qui le lègue ensuite à sa fille, Claudine Richard, actuelle propriétaire.