Szent István, Szent László és Gizella királyné lába is érintette Bény földjét
A falut minden valószínűség szerint a honfoglaló magyarok alapították, itt nagykorúsították Géza fejedelem fiát, Istvánt, aki Bényből indítja a harcot Koppány ellen. Járt itt Gizella királyné, valamint Szent László hadai élén, Lászlóhoz fűződik a szentkút legendája is. Az átvonuló hadak sokszor megsemmisítették, de a falu főnixmadárként éledt újjá minduntalan.

A falu legszentebb része a templomkert és környéke, Szalay András helyi plébános kalauzol a területen.
Mutatja, a templomkert legismertebb építménye a híres rotunda, amely a 11-12. században épült, a premontrei monostortemplom valamivel később. Mivel a körtemplomot a 12 apostol tiszteletére építették, 12 ülőfülke található benne.
A román építészeti stílus legszebb és legősibb emlékei közé tartozik tájainkon. A házasulandó fiataloknak sokszor felajánlja esküvői helyszínnek a rotundát, de sajnos még senki se választotta, mindenki a templomot részesíti előnyben.
A templom régen összekapcsolódott a monostorral, ez utóbbinak már csak az alapjai látszanak a templom mellett. András atya magyarázza, a régmúltban pár méterre a prépostság mögött folyt a Garam folyó. A tavaszi hóolvadáskor nagyon gyors sodrású volt és alámosta a lösztalajt, aminek következtében a monostor falai egyszerűen beledőltek a folyóba. Pár évtizede ugyan elkezdték feltárni, de a munkálatok megszakadtak, nem tudni miért. A folyó vizét szabályozták, mára úgy száz méterre folyik az eredeti medertől, a templom mögött holtág maradt.
Sajnos a templom épületét is kikezdik a természet erői, újabbnál újabb repedések keletkeznek rajta minden technikai megoldás ellenére.
Az ősi román eredetű templomot többször átépítették és megjelentek rajta a gótika jelei, leginkább a karzaton. Az atya mutatja, hogy a ma már befalazott, de még mindig kivehető oldalsó ajtón léptek be a szerzetesek a templomba. Két oratóriumot is látni a szentély közelében az egyik valószínűleg a földesúré volt.
Különlegessége még a premontrei templomnak, hogy öt jól elkülönülő kápolnája van, így öten tudtak misézni egyszerre. A régi időkben az volt a szokás, hogy a szerzetesek mindegyikének magának kellett a napi szentmiséjét bemutatnia.
Nagyon értékes még a két oszlopfő – az egyik az erényeket, a másik Szent László vadászó alakját örökíti meg. András atya hangsúlyozza, Szent Lászlónak köszönhető az is, hogy a premontreiek ide érkeztek, fontos kulturális helye volt Bény az Alsó-Garam mentének. A templom eredetileg a Legméltóságosabb Oltáriszentség tiszteletére volt felszentelve, a háború utáni felújítás után kapta a Magyarok Nagyasszonyának titulusát.
A templomkertben található még az I. és II. világháborús emlékmű, I. István lovaggá avatására két emlékmű is emlékeztet. Érdekesség még a templomhoz közel álló plébánia története, melynek építését még az esztergomi érsek hagyta jóvá, de átadására már a Csehszlovák Köztársaságban került sor.