Nella prima ondata di patrizi veneziani che si fanno ville ad Este, nel XVI secolo, più d'uno acquista un lotto importante lungo via Garibaldi, nei pressi del Duomo.
Al palazzetto, di impianto seicentesco, sono state addossate delle superfetazioni in tempi successivi, ma da un lato si affaccia ancora il giardino.
La distribuzione interna ricalca i moduli classici della villa veneta, con salone centrale passante ripetuto ai vari livelli e stanze ai lati. In aderenza, sul retro, sorge un volume ad "L", che ha comportato una variazione rispetto alla canonica simmetria dei prospetti. Una casa che ha mantenuto una certa nobiltà all'interno, ma che si arricchisce di un affaccio esterno ormai raro, in piena città, e magnificamente mantenuto. I giardini come questo invitano a sedersi ogni giorno in un posto diverso e guardarsi intorno... quelli dotati hanno un taccuino di schizzi e tre o quattro matite... oppure una buona fotocamera... per riprendere, ad esempio, un piccolo ipogeo, tra sacro e profano (l'antica ghiacciaia, il frigo del tempo).
Tra XVII e XVIII secolo il grande lotto dei Sartori Borotto si fraziona in due parti asimmetriche: per il palazzo sulla piazza si ritaglia un lotto che corrisponde ancora oggi al giardino cintato esistente, mentre il resto diventa un grande brolo che pare connesso alla villa urbana su via Garibaldi (corrispondente oggi al lotto della scuola elementare).
Ai primi del XIX secolo sembra consolidata la separazione della proprietà Sartori Borotto in molte parti: il palazzo su Piazza Trento, con il suo giardino, l'edificio laterale, su piazza Trento (oggi ricostruito ad alloggi comunali), i lotti interni, liberi e non connessi al resto (dove poi si realizzerà la scuola elementare), il palazzo su via Garibaldi, l'edificio a L vicino, entrambi con un modesto cortile pertinenziale.
