Vienu kilometru rietumos Vec-Sēlpils muižai Daugavas kreisā krastā pie Zvejnieku mājam rēgojas mūra pils počas. Tās ordeņa laikos celtās pils atliekas. Vēsturnieki domā, ka Sēlpils pilsdrupas stāvot tai paša vietā, kur atradusies senā „castrum Selonum” pieminēta Indriķa kronikā (XI. 6.) Kronists šo pili min kā drošu patvērumu, tomēr sabiedrotais vācu-lībju un latvju karaspēks šo cietoksni ieņem 1208. g.
