Du côté de la montagne, une tour semi-circulaire ouverte à la gorge a été accolée au donjon. A sa base, elle est faite de gros blocs, plus haut, de pierres de taille irrégulières. Il s'agit probablement là de restes d'un mur d'enceinte. Dans leur forme actuelle, les parties centrale et occidentale du château datent de la période postmoyenâgeuse; elles doivent cependant encore receler dans leurs fondations des éléments des anciens murs. Composé de plusieurs bâtiments particuliers, le château de Glérolles a donc connu différentes phases de construction.