Le Prieur, dans sa description ne mentionne pas un « vieux château ». Par contre il décrit un autre château que le plan appelle le Château neuf et la gravure le petit château.
D’après Le Prieur, il était flanqué de trois tours. Le bas consistait en un salon et le haut en deux chambres, ornées de vieilles tapisseries à moitié usées et passées de mode. Un cabinet y était joint, plein d’instruments astronomiques, ainsi qu’un observatoire. La description donnée par Le Prieur de l’intérieur du château neuf doit sans doute s’appliquer au vieux château. Le Comte d’Albon ayant pu y aménager une plate-forme comme observatoire. L’aspect du Petit château avec sa toiture en forte pente, semble exclure la possibilité d’y placer l’observatoire.
Dulaure donne la description suivante :
"Ce château était flanqué de trois tours carrées, éclairé de portes et fenêtres gothiques, mais que la construction fraiche de ce bâtiment donne un démenti à sa forme antique."