Historia powstania zamku w Rabsztynie nie jest znana. Nie wymieniają go w swoich kronikach ani Jan z Czarnkowa ani Jan Długosz. Pierwsze wzmianki o wsi pojawiają się dopiero w XIV w. i wynika z nich, że Rabsztyn był w zastawie u wojewody krakowskiego Spytka z Melsztyna. O zamku po raz pierwszy wspomniano w dokumencie z 1396 r. i to przy okazji wzmianki o kapelanie kaplicy zamkowej. Historia warowni znana jest dopiero od 1400 r. Był on wtedy w posiadaniu rodu Leliwitów-Melsztyńskich i pozostał w ich rękach do 1441 r. Wtedy to jako wiano Jadwigi z Książa stał się własnością Toporczyków, których część przyjęła z tej okazji nazwisko Rabsztyńskich. Śmierć ostatniego z rodu Rabsztyńskich sprawiła, iż od 1509 r. zamek często zmieniał właścicieli, którzy przeprowadzili kilka przebudów warowni. W XVII w. Szwedzi spalili zamek, który odtąd popadał w coraz większą ruinę.
