Il castello di Baone controllava l'accesso orientale alla città di Este, affiancato dal castello sul Monte Cero e dalla fortificazione di Calaone, formando un sistema difensivo strategico. Appartenente alla famiglia dei Da Baone, originaria di Padova, fu ceduto nel 1183 al marchese Obizzo d'Este. La sua storia è strettamente legata a quella del castello di Este, centro politico dei marchesi.
Costruito in pietra di trachite, il castello includeva una torre abitabile, porte con serratura e un camminamento interno, circondato da un vasto terreno coltivato a viti e da grandi mura.
Un manoscritto conservato alla Biblioteca Civica di Padova, attribuito forse a Biasio Lombardo, descrive le rovine del castello e della chiesa di S. Fidenzio. Già nel XVII secolo il sito era completamente distrutto e trasformato in vigneto.