Porkuni järve keskel asuvale saarele rajati 1479. aastal linnus, mis hävis juba Liivi sõja (1558-1583) ajal. Järele jäi vaid väravatorn. Aastasadu Porkuni mõisa juurde kuulunud torni on säilitamise huvides renoveeritud. Peale II Maailmasõda kuulus torn Porkuni koolile. Torni 500 aasta juubeliks (1979) remonditi torn tolleaegse koolidirektori eestvõttel ja Eesti Kurtide Ühingu rahadega. Renoveeritud torn võeti kasutusele kooli puhkeruumina. 1991. aastal koostati siin väljapanek kurtide õpetamise ajaloost Eestis, 4. juunil 1992 lisandus Marko Pomerantsi ettevõtmisel paenäitus. Seda aastat loetaksegi Porkuni Paemuuseumi algusaastaks. Läbi torni viie korruse on võimalik saada ülevaade Eesti rahvuskivist – paekivist. Ekspositsioon tutvustab paekivi tekkelugu, kivistisi, levikut ja kasutust. Siin on rikkalik kollektsioon paenäidiseid üle Eesti. Torni tipus asub vaateplatvorm. Siit saab heita pilgu Porkuni järvele, mõisakompleksile ja ümbruskonnale. Paemuuseum on sobiv koht täiendavate teadmiste saamiseks nii kooliõpilastele kui ka tudengitele. Huvilistel on võimalik ise paekivinäidiseid uurida ja töödelda ning kivistisi määrata. Asjakohast infot jagavad giidid, kes tutvustavad ekspositsiooni ja Porkuni kultuuriloolisi paiku.
Alates 01.01.2020 kuulub Porkuni Paemuuseum Tapa Valla Kultuurikeskuse koosseisu.