Upomínka na činy amerických vojáků však neměla lehký život a Kolovečtí ji museli skrývat a chránit před nelibostí komunistického režimu.
Vojska USA vjela do Kolovče v neděli 6. května 1945 v 9 hodin ráno. Myšlenka na vybudování pomníku vznikla brzy po jejich odchodu v polovině listopadu. K její realizaci a slavnostnímu odhalení důstojného pomníku ze dvou kvádrů syenitu a kovové pamětní desky však došlo až 4. května 1947. Zúčastnila se ho i delegace americké armády.
Po politických změnách v roce 1948 však přestaly být pomníky Američanům žádoucí a na popud okresu se připravovalo sejmutí desky.
V březnu roku 1950 ji proto tři kolovečtí odvážlivci v noci tajně sňali a dobře ukryli, aby tak předešli jejímu potupnému úřednímu odstranění či zničení.
Po 18 letech, v roce 1968, době nadějného uvolňování, se počátkem května deska na památníku opět objevila. Zůstala tam však jen do roku 1972. Aby se opět předešlo zničení desky během normalizace, dva jiní občané Kolovče ji opět tajně sňali a ukryli. Odplatou za tento čin bylo šetření v obci a následně byl obci dán příkaz zničit celý památník. Byl rozebrán a kameny odtaženy.
Po dalších 18 letech, v roce 1990, byl po pádu komunismu celý pomník znovu obnoven, jen pouhé čtyři metry od původního místa.