L’edificio attuale è il risultato dell’unione di tre edifici medievali di proprietà della collegiata di Santa Giustina. L’opera di restauro risale al XVII secolo, quando la facoltosa famiglia Tassello lo trasformò in propria residenza cittadina. Presenta un ampio salone centrale e un brolo sul versante del colle. L’ingresso è sulla suggestiva via Santo Stefano Superiore che unisce il Castello con la Chiesa di San Martino. Divenuto di proprietà comunale, ospitò in passato le locali prigioni. Dopo un accurato restauro, l’edificio, a partire dal 1999, è adibito a ostello.