La magnifique salle de l’ « Espace Bayles Isle » a été construite sur l’emplacement des bâtiments de la ferme que Mr et Mme Delalet ont achetée en 1947 en même temps que la commune achetait le château.
En 1740, à la demande de l’intendant Tourny, JB Breton, arpenteur à Aixe, fait une description de la propriété du sieur « Desbailes » (château , cour,….etc , « jardin entier de maison ») au même endroit se trouvait une autre maison à deux étages et deux granges chaumées à trois travées qui confrontaient de tous côtés la maison du sieur Desbailes., maison attribuée au domaine dit « de la porte ».
Une nouvelle description de 1808 fait état d’une maison de métayer, trois granges dont l’une à deux étables et leurs eyrages. (cadastre de1812).
Au cours du XIXème siècle de nombreux bâtiments sont démolis.
Pour plus de détails voir le travail de Bernard Villautreix « les Bayles d’Isle en Limousin »