Il Colle di S. Martino che domina il paese probabilmente era originariamente una fortificazione Celta trasformata in "Castrum" dopo l'occupazione romana per difendere le vie di transito collegate al Lago Ceresio.
Fra il 1400 ed il 1600 la strada che passando da Besano portava a "Porto" (come era allora chiamata Porto Ceresio) era un passaggio obbligato per i mercanti che transitavano tra il Ducato di Milano e la Svizzera. Essa era teatro di imboscate da parte di sbandati e mercenari delle opposte fazioni, per cui non era certo facile la vita per gli abitanti di Besano; infatti dagli atti di morte di quei tempi sappiamo di numerose persone che perirono "colpite da una archibugiata". Su questo colle si staglia una chiesetta in stile Romanico, dedicata alla Madonna, nella quale si possono ammirare decorazioni del '600 ed una Madonna col Bambino Gesù che viene fatta risalire al 1400, attribuita ad ignoti, ma di straordinario valore artistico. La struttura attuale dell'edificio è un rifacimento Settecentesco.
La costruzione originale ospitava anche un monastero censito nel Catasto Teresiano ma del quale non resta più traccia. In posizione più alta rispetto alla chiesa, forse dove sorgevano le antiche fortificazioni è posto un cippo con una statua della Madonna.
Lungo la strada che da Piazza della Chiesa e del Municipio conduce alla sommità del Colle 5. Martino, sono poste all'ammirazione dei visitatori le quattordici Cappelle della Via Crucis, ricostruite e riaffrescate nell'anno 1988-89 dal pittore Franco Vasconi.
Dal colle si gode una vista panoramica sul paese, su tutta la Valceresio, sul lago Ceresio e sulle prealpi varesotte e svizzere.