Az egykori Alsó- és Felső Ludány találkozási pontjánál található Szent András apostol tiszteletére felszentelt templom története, az Árpád-ház kihalásáig, 1301-ig nyúlik vissza. Ekkor már, mint meglévő épületről beszél a forrás, így minden bizonnyal az Árpád korban készült el (valószínűleg a tatárjárás után, mikor is, az Ipoly menti templomok is áldozatul estek a pusztításoknak). Az 1332-1337. évi pápai tizedösszeírás kapcsán ismerjük meg az egyházközség első név szerinti plébánosát Michael atyát.
A XVI. században, majd a XVII. század második felében a település oszmán megszállás alá került. Az 1680-as évek felszabadító harcai, majd az azt követő pestisjárvány következtében, Ludány egy időre lakatlanná, a templom tűz martalékává vált.
Az 1680-as évek végére, 90-es évek elejére visszatért lakosság, minden bizonnyal helyreállította a romos templomot, és ezután ajánlották fel először Szent András apostol tiszteletére. A jelenlegi egyházi épület 1760-61 folyamán épült a régi templom helyén (amit 1760-ban bontottak le) és Szent András apostol tiszteletére szentelték fel.
A XIX. század második felében mind a parókián, mind a templomon többször végeztek felújítási munkálatokat. A XX. század elejére ismét szüksége mutatkozott a templom felújításának. 1913-ban kívül-belül megújult az épület. 1914-ben egy héttel a Nagy háború kirobbanása előtt adták át a templom máig használatos orgonáját, melyet a temesvári orgona gyáros Wegenstein Lipót és fiai cég épített. 1924-ben villám csapott a toronyba, súlyos kárt okozva benne. 1928-ban az egy hajós templomot kereszthajóval bővítették. 1930-ban a Szent Imre év kapcsán a községi közgyűlés kimondta, hogy a templom melletti teret Szent István fiának tiszteletére, Szent Imre térnek nevezik el. Az építőmester hanyagsága miatt 1939-ben ismételten szüksége mutatkozott az épület renoválásának. Ekkor a kereszthajókat mellékhajókká bővítve, az épület elnyerte mai formáját. Az 1944-45-ös helyi harcokban, a templom déli oldala ágyúbelövést kapott, több találat érte a tetőt is, melyet később a hívek közös munkával kijavítottak. 1946 őszén megkezdték a megrongálódott templom és a torony helyreállítását. A 1970-es évek végén a templom ékes szószékét elbontották, díszes falfestményeit puritánabb freskókra cserélték.
Az utóbbi években kívül-belül megújult a Szent András plébániatemplom, melynek a 2008 év végén felújított tornyát, Szent Család vasárnapján (december 28.) dr. Beer Miklós váci megyéspüspök, ünnepélyes keretek között szentelte fel.

Belseje: Eredetileg a torony alja volt a szentély. Ma ez a sekrestye. Keresztboltozatos és három boltíves. A szentély fiókos cseh süvegboltozású. A szentély felőli régi két barokk boltívet áttörték és két mellékhajót építettek hozzá. Ívnyílásos falazott orgonakarzatot építettek és mögötte félemelet magasságban helyezték el az orgonát.

1931-ben Ludány földesura gr. Pejacsevich Mikó Endre a Ráday-féle kastélyt, az újonnan alakult Szegénygondozó Nővérek Társulatának adta el. A kastély területén levő saját kápolnájukat 1931. november 1-én áldották meg, védőszentjük a Szentséges Szív lett. Miután a Társulatot tartománnyá emelték, a szerzet egyházi joghatósága Pálók Mária Franciska (a rend egyik alapítója) ludányi újoncmestert nevezte ki tartományfőnöknővé. A ludányi szeretetház a főnöknő és titkárnőjének állandó tartózkodási helye, a rendnek pedig tartományi székháza lett, innen vezetve a 30-as évek végére 48 zárdával rendelkező Társulatot. 1934-ben Bayler István ludányi plébános Oslay Oswalddal (a rend alapítója) együtt felvetették egy járási szeretetház gondolatát, és több évi tárgyalás után 1937 márciusában nyílt meg a Szeretetház és Üdülő. Erre a célra a nővérek a kastélyhoz tartozó versenyistállókat és cselédlakásokat engedték át. A szeretetház 60 fő befogadására volt alkalmas, az üdülőben pedig egy közfürdő is létesült, mely az egész környéken páratlan volt.

A világháború kitörése után a Szeretetházban lengyel menekülteket fogadtak be. 1940. nyarán egy kis kápolnát építettek a zárda területén. 1944 végén ’45 elején a község a front közepén állt. Orosz repülők többször lőtték és bombázták a falut, egy bomba éppen a zárda falai mellé helyezett benzines gépkocsikat találta el, ezek felrobbanása megrongálta a kastélyt. 1945. februárban román hadikórház lett a zárdából.

A front elvonulta után egy évvel, 1946. június 21-én Mindszenty József itteni látogatása során a zárdában szállt meg. Sötét fellegek gyülekeztek a 40-es évek végén a katolikus egyház felett, melynek szele már 1948-ban érintette a községet. Ekkor államosították ugyanis a katolikus iskolákat. 1950-ben megtörtént a szerzetesrendek erőszakos feloszlatása. Sorsát a Társulat sem tudta elkerülni. Még ugyanebben az évben országosan 300 nővérnek kellett beszüntetnie tevékenységét. 1950. június 10-én 150 apácát szállítottak a ludányi rendházba, ahol 1 hónapig tartózkodtak, majd innen Jászberénybe víve, szétengedték őket. A rend feloszlatása után a kastély előbb SZÖVOSZ iskola, majd pedig ideg és elmegyógyintézet lett, ahol a nővérek egy része is tovább folytatta munkáját. Az egykori Ráday kastély jelenleg is ezt a funkcióját tölti be, az idők folyamán modern épületekkel gazdagodva.

Említésre méltó a kastély védettség alatt álló 8 hektáros parkja, (ami az intézmény jellegéből adódóan, engedéllyel látogatható) mely 23 fafajnak ad otthont a páfrányfenyőtől kezdve a török mogyoróig; köztük olyanok is, melyeket még a Ráday család ültetett. Ezek évszázados bizonyítékai az egykoron itt élt nemesi család valaha volt gyönyörű angol parkjának.

A falu további épített emlékei még az 1802-ben épült barokk jellegű kőkereszt, a szintén barokk jellegű plébániaház, valamint a halászi kápolnaiskola és a háborús hősi emlékművek.
Sajnos a régi népi építészet remekei közül ma nincs mivel büszkélkedjen a falu, mivel a régi palóc házakat átalakították, nem gondolva az építészeti emlékek megőrzésére sem.