Il Buso dei Briganti è stato frequentato da sempre come punto di osservazione sulla pianura, da cui si potevano controllare le vie di percorrenza obbligate. Questa singolare formazione geologica e’ stata, nel corso degli anni, torre di guardia, forte, polveriera clandestina e nascondiglio di briganti.
La Porta dei Briganti si apre su un terrazzino naturale che permetteva un’ottima visuale sulla pianura circostante, da cui le vedette segnalavano ai complici a valle l’arrivo di carrozze da rapinare. Si dice anche che la porta potesse essere chiusa con un pesante portone.
La leggenda racconta che un gruppo di banditi tra i più temibili della storia fu catturato proprio nei pressi del Buso dei Briganti e che fossero poi stati impiccati pubblicamente ad Este. Uno solo si salvò, rimanendo nascosto nel Buso dei Briganti e fissando lì la sua dimora. Divenne noto come eremita e un giorno salvò un boscaiolo ferito portandolo in spalla fino al paese più vicino, riscattando così le sue malefatte. Morì il giorno dopo, proprio al Buso dei Briganti e lì nacque un mandorlo, il primo a fiorire ad ogni primavera, ad alimentare la leggenda di questo luogo.