Dulaure décrit ce vieux château :
Château gothique bâti en briques flanqué de quatre tours avec des girouettes. Sur la porte sont écrits des vers gothiques et galants.
«Grand chatellain, pour son usage,
Dans un vallon bien recouvert,
Bâtit un galant hermitage
A tous les amoureux ouvert
Sur une tour d’un mur bien proche
Bâtit pour chacun soulager,
Beffroi charmant, doucette cloche
Qui sonnait l’heure du berger»
Cette description ne correspond pas à la gravure due à la Comtesse d’Albon, qui ne représente que des ruines. Sur la gravure représentant l’enlèvement du « ballon de Franconville » figure une sorte de grande bâtisse carrée qui ressemble étrangement au vieux château décrit par Dulaure et sur lequel devait être l’observatoire. A l’extrême droite de la gravure se profile le clocher de Franconville, mais suivant le plan nous constatons que c’est le château neuf, et non le vieux château celui-ci étant à l’autre extrémité de la colline.
L’abbé Rivarol décrit pour observer les évolutions du ballon « on avait fait placer sur une des tourelles du vieux château… qui sert à ses observations astronomiques tous les instruments de ce genre »
D’après Le Prieur, le bas de ce château consistait en un salon et le haut en deux chambres, un cabinet y était joint, plein d’instruments astronomiques ainsi qu’un observatoire très bien situé.