Pierwsza wzmianka o miejscowości pochodzi z 1342 r. Na skraju puszczy, przy pruskiej osadzie Rast, krzyżacy wybudowali drewnianą strażnicę nazwaną Rastenburg. Znajdowała się ona prawdopodobnie na niewielkim wzgórzu w pobliżu rzeki Guber, w miejscu gdzie później wybudowano stojący do dnia dzisiejszego zamek. Zadaniem strażnicy i osadzonej w niej załogi była obrona tej części państwa zakonnego przed licznymi wyprawami litewskimi; był to także punkt etapowy w krzyżackich wyprawach na Litwę. Strażnica, dwukrotnie zdobywana i palona przez Litwinów – 3 listopada 1345r. przez wojska książąt Olgierda i Kiejstuta i 22 lutego 1347 r., była każdorazowo odbudowywana, a położona przy niej osada zaludniła się nowymi mieszkańcami. 11 listopada 1357 r., komtur Bałgii Johan Schindekopf nadał osadzie prawa miejskie. W tym czasie zapewne rozpoczęto budowę murowanego zamku usytuowanego w południowo-wschodnim narożniku murów miejskich.
Budowę zakończono przed 1374 r., kiedy zamek w Rastenburgu po raz pierwszy pojawił sie w wykazie inwentarzy zamków zakonnych. Pierwszy znany opis zamku pochodzi z początków XVIII w. (ok. 1706). Jego autorem był Adam Huldreich Schaffer, rektor miejscowej szkoły, autor „Chronik von Rastenburg”. Dla wcześniejszego okresu dysponujemy jedynie informacjami z inwentarzy zamkowych o pomieszczeniach znajdujących się w zamku, oraz krótkimi wzmiankami o pracach budowlanych.
Zamek początkowo był budowlą trójskrzydłową, zamkniętą od strony zachodniej murem z bramą wjazdową.
Najbardziej reprezentacyjne skrzydło północne zajmował pfleger – prokurator, urzędnik sprawujący władzę z ramienia Zakonu. Mieściła się tu także kaplica wzmiankowana jeszcze w 1628 r. Na dziedzińcu znajdowała się studnia. Prawdopodobnie na przełomie XIV i XV w. zamek otoczony został od północy, wschodu i południa murem obronnym, do którego w początku XVI w. dobudowano w narożnikach cylindryczne basztami; od strony miasta wybudowano mur przed wejściem do zamku.
W zamku i przylegającej do niego części miasta nazwanej Nowym Miastem istniały m.in. piekarnia, kuchnia, młyn, słodownia i browar, skład mięsa i zboża, spiżarnia, zbrojownia i prochownia oraz więzienie, wzmiankowane w 1564 r. Po 1525 r. zamek został siedzibą starostwa książęcego. Kolejne prace budowlane na zamku przeprowadzone zostały w latach 1528-1529 i 1559- 1560. Przed 1566 r. przebudowano skrzydło zachodnie zamku, a w 1622 r. w północno- zachodnim narożniku dziedzińca wybudowano cylindryczną basztę z klatką schodową. W 1682 r. rozebrano dwie górne kondygnacje skrzydła północnego, zrównując jego wysokość z pozostałymi skrzydłami budowli. Być może wtedy także zasypano część piwnic pod skrzydłami wschodnim i południowym. Ślad po dawnym zejściu do piwnic w skrzydle południowym widoczny jest jeszcze dzisiaj w murze w południowo-wschodnim narożniku zamkowego dziedzińca.
W XVIII i XIX w. zamek z leżącym przy nim folwarkiem był siedzibą domeny królewskiej. W tym okresie przebudowywano go dostosowując do pełnienia funkcji mieszkalnych. W miejsce gotyckich okien wykonano nowe, znacznie szersze. 15 grudnia 1797 r. w zamku miał miejsce wielki pożar. W latach 1911-1912, po kupnie obiektu przez miasto, zamek ponownie przebudowano, przeznaczając większość pomieszczeń na mieszkania. Wówczas także znajdował się tu lokal biurowy 3. Brygady Piechoty. Pod koniec lat 30-tych XX w. na zamku prowadzone były drobne prace konserwatorskie.
Przed drugą wojną światową znajdował się tu urząd finansowy i mieszkania urzędników. W początku lat 40-tych zachodnią część piwnic pod skrzydłem północnym przebudowano na schron przeciwlotniczy. W końcu stycznia 1945 r., po zajęciu miasta przez wojska radzieckie zamek i większa część staromiejskiej zabudowy miasta zostały spalone. Projekt odbudowy połączonej z regotycyzacją obiektu oparty został na rekonstrukcji rysunkowej wykonanej w końcu XIX w. przez Steinbrechta.
Po odbudowie przeprowadzonej w latach 1962-1967, budowla odzyskała gotycki charakter dzięki podwyższeniu dachów, skrzydeł południowego i wschodniego oraz dodaniu jednego piętra z gotyckimi szczytami i spadzistym dachem w skrzydle północnym. Obecnie w kętrzyńskim zamku funkcjonują: Muzeum im. Wojciecha Kętrzyńskiego i Miejska Biblioteka Publiczna.