Biskup krakowski i arcybiskup gnieźnieński Wojciech Jastrzębca jest uznawany za fundatora Zamku Rytwiany, który powstał w XV wieku. Jednakże, istnieją też inne źródła, które sugerują, że budowla powstała już w XIV wieku i że Jastrzębica dokonał jedynie przebudowy.

W 1414 roku wzmiankowana jest kaplica zamkowa, a kilkanaście lat później zamek przeszedł przebudowę. Do końca XV wieku był to siedziba rodu Jastrzębców-Rytwiańskich, ale w kolejnych wiekach budynek wielokrotnie zmieniał właścicieli. W XVI wieku znalazł się w rękach Tęczyńskich, a po ich śmierci stał się własnością Łukasza Opalińskiego, który w 1657 roku obronił zamek przed wojskami księcia Rakoczego. Niestety, budynek uległ poważnym uszkodzeniom, a kiedy Rytwiany przeszło w ręce Potockich, zamek został rozebrany.

W latach 2013-2014 rejon historycznej ruiny został zrewitalizowany i przekształcony w gminny park historyczno-edukacyjny. Najważniejszym elementem parku jest relikt narożnika murów zamkowych, który stanowi zarówno punkt centralny, jak i atrakcję turystyczną całego obszaru.