L’enceinte du château jouxtait autrefois l’église (à peu près sur l’emplacement des actuels parkings). Il n’en subsiste aujourd’hui que le dormant d’une porte, sur le côté droit de la façade de l’église. Son emplacement correspond à la parcelles n°20 de ce vieux plan.
On ne connaît pas la date de fondation de ce château. On suppose qu’il existait déjà probablement au XIe siècle. Résidence d’été des évêques, ils l’agrandirent et le transformèrent en véritable forteresse, puis s’y installèrent à demeure. Pris par les anglais, repris par les évêques, occupé par les croquants, il eut une histoire mouvementée. Finalement la terre d’Isle et ses dépendances provenant de l’évêché de Limoges fut vendue le 18 février 1791, à titre de domaine national. Le château servit alors de carrière de pierres. En 1815, seule la tour est encore là.
Au début du 20e siècle, selon Octave d’Abzac, subsistaient trois jardins en amphithéâtre, traversés par une allée de 6 mètres de large, perpendiculaire à la Vienne. Cette allée partait, dans le premier jardin, d’une fontaine, splendide vasque de granit, à quatre étages dont les vestiges ont été installés sur la petite place à gauche de l’église. On accédait d’un jardin à l’autre par des perrons circulaires en granit travaillé.
