A Mátra Múzeum Gyöngyös keleti részén, a Mátra felé vezető 24. számú út mellett, az egykori Orczy-kastély épületében kapott helyet. Elsősorban a várossal és a Mátra-vidékkel kapcsolatos emlékeket, dokumentumokat gyűjti, egy részüket állandó kiállításon mutatja be.
Az épület
Az Orczy-kastély a felújítás előtt
Az Orczy-kastélyt a család birtokán korábban állott udvarház helyén építtette Orczy (I.) Lőrinc 1770-ben. Az egyemeletes, U-alakú, barokk épületet később többször átépítették. 1826-ban Zofahl Lőrinc tervei szerint egy északi szárnyat hozzáépítve négyzet alakú, zárt, klasszicista stílusú palotává alakították, a belső udvarra nyíló árkádokat befalazták. A palotát és a körülötte kialakított parkot a család leszármazottai 1937-ben eladták a városnak, az ugyancsak átadott berendezésnek és műtárgyaknak azonban később nyoma veszett.
A kastély később többféle célt szolgált, 1958-tól a Mátra Múzeumon kívül itt működött a városi könyvtár, itt raktározták el a ferencesek híres (azóta visszaszolgáltatott) műemlékkönyvtárát is. 1984-ben az épületet a Heves Megyei Múzeumok Igazgatóságának adták át, az egykori kastély azóta a Mátra Múzeumnak ad helyet.
A megyei önkormányzat tulajdonában álló épület és a városi önkormányzat tulajdonában álló Orczy-kert (korábbi nevén Dimitrov-kert) teljes felújítása 2005-ben kezdődött. A régészeti és műemléki feltárás közben több helyiségben korabeli barokk falfestmények kerültek elő. A munkák során kibontották az 1826-ban befalazott árkádokat, üvegtetővel lefedték az addig nyitott belső udvart, új műszaki berendezéseket (világítás, fűtés) szereltek be.
A megújult épületben a múzeum 2007. május 15. óta fogadja látogatóit.
A kiállítások
A múzeum központi tere a mamutcsontvázzal
A múzeum jelenlegi állandó kiállítása tematikailag több önálló részből áll.
A földszinti helyiségekben vadászati és vadászattörténeti tárgyakat, tárlókat láthatunk. Az emeleti termek egy részében természettudományi kiállítás kapott helyet, ahol különleges ásványokat, a Mátrában fellelt kovásodott fatörzseket, különféle kövületeket állítanak ki. A múzeum különlegessége a fedett udvaron felállított mamutcsontváz, mely kb. 80%-ban eredeti csontokból áll. Ez az egyetlen teljesnek tekinthető mamutcsontváz az országban.
Az állandó kiállítás harmadik része a város történetével foglalkozik, bemutatva az egyes korok jellemző tárgyait, dokumentumait. Itt rendezték be azt a külön helyiséget is, amely a gyöngyösi születésű orvos, természettudós és nyelvújító, Bugát Pál munkásságának állít emléket. Szintén az emeleten látható az Orczy-család történetét megörökítő két terem, falait a felújítás során előkerült eredeti barokk falfestmények díszítik.