8,3 m aukščio paminklą LDK kunigaikščio Vytauto 500 mirties metinių proga Perlojos šauliai su Perlojos visuomene nusprendė statyti 1929 m. rudenį. Statinys baigtas statyti 1931 m. ir buvo iškilmingai atidengtas 1931 m. liepos 19 d. Lėšos buvo renkamos loterijos ir aukų būdu. Paminklą pokariu dažnai apšaudydavo vietiniai stribai, du kartus bandyta jį nugriauti, bet nepavyko.