Le château de Belcastel est le plus proche de Bournazel puisqu’il se situe à une dizaine de kilomètres de ce dernier, il s’agit d’une forteresse médiévale dont le début de construction est acté du IXè siècle siècle. Ces seigneurs le perde 3 siècles après sa fondation ; il est alors confisqué par la couronne et sert de bastion militaire et est même aux mains des anglais en 1376. Il est par la suite offert au chevalier de Saunhac
Après plusieurs alliances il appartient au début du XVIè siècle au seigneur de Sanvensa et de Castelmary, sénéchal de Quercy et de Rouergue,
La famille Buisson de Bournazel est même au commande du château à partir du mariage le 5 février 1592 de Florette de Morlhon avec François Ier de Buisson, deuxième marquis de Bournazel, gouverneur et sénéchal de Rouergue, qui n’y réside pas. Bournazel reste le fief des Buissons.