Non si conosce la data di costruzione del palazzo ma un edificio nello stesso luogo, se pure in forma diversa e più modesta, era presente intorno al VIII-IX secolo.
il palazzo ospitava i signori del castello, dopo l’avvento dei Rangoni quando Castelvetro divenne capoluogo del loro feudo, l’edificio venne ampliato e assunse funzioni e caratteristiche più residenziali e di rappresentanza.
Nel 1501 a causa del terribile terremoto, subì ingenti danni: il Tiraboschi in “Memorie storiche modenesi” scrive “La rocca cadde dal mezzo in su, il rimanente di essa screpolò fino al piede, di guisa che il 10 marzo 1502 rovinò poi fino alle fondamenta. Ruinò altresì parte della chiesa, rimasero fessi ed atterrati per due terzi i merli, e distrutto per 20 braccia il muro del castello, dentro il quale le case rovinarono per maggior parte.”
In seguito a questo tragico evento, i Rangoni provvidero certamente in breve tempo alla ristrutturazione del loro palazzo, il quale, già nel 1564, poteva ospitare il poeta Torquato Tasso. L’edificio dovette assumere, proprio in questo periodo, la struttura e le caratteristiche che ancora oggi si possono vedere: l’imponente entrata anche per carrozze, l’ampio atrio con decorazioni a grandi conchiglie, il cortile interno sul quale domina il ballatoio che mette in comunicazione due ali del palazzo, e lo scalone per accedere al piano superiore.
Durante il rinascimento si arricchì di decorazioni che si possono ancora ammirare nei soffitti di alcune stanze.
SALA DEI DELFINI
Al piano terra, datata XVI secolo, è attribuita agli Scaccieri, ha il soffitto a cassettoni decorato a chiaroscuro su fondo verde e rosso con motivi di racemi e mostri, Una fascia decorativa ad affresco corre sotto il soffitto e presenta un fregio grigio-arancione su fondo verde cupo, formato da racemi fogliati disposti a spirale. Ci sono delfini circondati da targhette contenenti motti.
In un’altra stanza a pianterreno i soffitti sono stati dipinti a chiaroscuro con motivi a racemi, mostri e targhe recanti la scritta G.R. (Guido Rangoni)
SALA DEGLI ORSI
Al primo piano, attribuita da alcuni studiosi agli Scaccieri, datata ad inizio XVI secolo, ha un soffitto ligneo a cassettoni decorato con rosette e racemi. Intorno al soffitto corre una fascia aggettante dipinta ad ovuli e dentelli. Le tavolette oblique di chiusura dei cassettoni hanno decorazioni di mostri.
Intorno alle pareti, sotto il soffitto, corre una fascia affrescata dove sono rappresentati due orsi in piedi, il simbolo araldico dei Rangoni, che si affrontano appoggiati ad una mensola reggente un’aquila. Cornucopie e scritte S.P.Q.R. in chiaroscuro giallo ocra su fondo azzurro-verde, completano la decorazione.
SALA DEI PUTTI
Al primo piano, presenta un soffitto dipinto con motivi architettonici e decorativi di medaglie che racchiudono fiori e figure.
Sotto il soffitto una fascia affrescata rappresenta putti che reggono festoni e medaglie includenti paesaggi, busti e mascheroni dorati.
SALA GRANDE
Detta anche sala del Tasso, era l’ambiente più importante del palazzo, quello in cui venivano ricevuti gli ospiti. Il soffitto era finemente decorato e le pareti presentavano decorazioni barocche, cornici riquadri e stucchi, che dovevano contenere dipinti o arazzi.
Alla fine del XIX secolo questa sala si trovava in uno stato di grave degrado, tanto che il parroco don Rinaldi fece appello alle autorità comunali e alla popolazione per reperire i fondi che consentissero di avviare i necessari restauri, ma non ottenne nessun risultato. Per questo prese la sofferta decisione di far costruire un piano che la dividesse in due parti. Ora possiamo osservare i resti di questa sala nel sottotetto del palazzo.
In seguito lo stesso parroco volle ricavare al primo piano l’attuale sala del Tasso, contente anche quattro dipinti del 1876 del pittore modenese Ferdinando Manzini che illustrano momenti importanti della vita del poeta ospitato in questo palazzo nel 1564.