L’attuale complesso risale agli anni ‘40 del XIV secolo e fu edificato da Ubertino da Carrara sulle rovine della precedente fortificazione, già distrutta nel 1249 dalle truppe di Ezzelino da Romano. Il nucleo più antico risalente al 1056 consisteva in una cerchia di mura con una chiesetta e un grande edificio centrale. La prima struttura fu incorporata a partire dall’XI secolo in una serie di cinte murarie e di fabbricati residenziali fino a quando, intorno alla metà del XIII secolo, Ubertino da Carrara restaurò il castello in senso difensivo. La costruzione è a pianta quadrata, circondata da una poderosa muraglia intervallata da dodici torresini. Il mastio è sito sul colle, in posizione di controllo sull’intero abitato; culmina con una torre quadrata e presenta a nord-est un castelletto (o Rocca del Soccorso) che costituiva l’accesso alla fortezza in epoca carrarese. Lo spazio compreso all’interno della cinta muraria è oggi adibito a giardino pubblico. Il Castello fu utilizzato a fini difensivi fino alla spontanea dedizione della città alla Repubblica di Venezia, quando l’intera struttura fu venduta ai Mocenigo: furono questi ultimi a far costruire verso la fine del Cinquecento il Palazzo, dove attualmente ha sede il Museo Nazionale Atestino.
I giardini del Castello Carrarese di Este sono pubblici ed é libero e gratuito anche l'ingresso alle due torri maistre residue, il Mastio e la Torre del Soccorso che sono aperte al pubblico, in alternanza, la prima e la seconda domenica di ogni mese.