Később a vár a királyné kezébe került, aki Cseréppel és Diósgyőrrel az 1420-as évek végén (más vélemény szerint 1431-ben), elzálogosította azt Rozgonyi Istvánnak. 1432-39 között Cekei Márton a királyné familiárisa, a diósgyőri uradalom vezetője volt az illetékes Dédes ügyében is, annak ellenére, hogy eme utóbbi erőd élén más várnagyot találunk (Liptói János). Albert király anyósa, Borbála királyné minden jószágára rátette a kezét. Midőn azokat jutalmazta, akik trónra segítették, könnyedén a Pálócziaknak adta Dédes vár uradalmát és a korábban Diósgyőrhöz tartozó Sajószentpétert. A dédesi uradalom, amelyhez két város: Dédes és Sajószentpéter és öt község: Tardona, Nagyvisnyó, Tapolcsány, Mályinka, Szilvásvárad valamint a Bélapátfalva és Borsodszentmárton közt fekvő Rátótföldje tartozott, a földesurak kezébe került, amit az uralkodóknak később nem sikerült visszaszerezni. 1526-ig az uradalom a Pálócziak kezében van, birtokjogukat II. László is megerősítette 1445-ben. A család utolsó férfitagjának Pálóczi Antalnak a mohácsi csatában bekövetkezett halála után a birtok János király kezébe kerül, de hamarosan a Dobók és Perényiek vitáznak az uradalmon. A birtokot azonban a Perényiek ténylegesen már 1526 után birtokolták. János király 1537-ben adott adománylevelet Perényi Péter számára Dédes váráról és tartozékairól. 1549-ben Perényi Gáboré volt Dédes, Tapolcsány, Emőd, Gede, Kisfalud, Mályinka, Ónod, Szederkény, Szilvás, Tardona és Visnyó. Perényi Gábor örökös nélkül halt meg, halála után a király a várat Erdőhegyi Boldizsárnak adományozta.

A XV-XVII. században a falu birtokosai közül az Erdőhegyi, az Orlay, majd a Dőry család tűnik ki. Dédes és Tapolcsány felett ennek ellenére gyakran a putnoki- vagy az ónodi várkapitány gyakorolt felügyeletet.
A török 1567. április 1-én Hasszán temesvári basa vezetésével megkezdte Dédes várának ostromát, melyet Bárius István védett, akit még Perényi Gábor tett várnaggyá. A védők 15 napon keresztül hősiesen védekeztek, de a túlerővel szemben nem sok esélyük volt. Bárius nagy mennyiségű puskaport helyeztetett a vár tornya alá, az őrség pedig elhagyta az erősséget. Hosszú kanócot helyeztek a puskapor közé, s a lassan égő kanóc tüze a puskaporhoz ért, mire az felrobbant, maga alá temetve 400 török katonát. Hasszán basa bosszúból leromboltatta a várat, ami többé nem épült fel. Ettől fogva Dédest mint „CASTRUM DIRUTUM”-ot - LEROMLOTT VÁR - emlegetik a források.