Coevorden werd na 1024, het jaar waarin de graafschap Drenthe in handen kwam van de bisschop van Utrecht, zetel van de burggraaf. Deze door de bisschop aangestelde ambtenaar was belast met het bestuur van dat deel van de graafschap, dat nu ruwweg de provincie Drenthe omvat. De keuze van Coevorden als standplaats was gemaakt, omdat de plaats de belangrijkste toegang tot het gebied vanuit het zuiden beheerste. Dat Coevorden voor de burggraaf wel erg in periferie van zijn bestuursgebied lag, woog kennelijk niet op tegen het militaire voordeel.
De burggraven hadden een vooraanstaande positie en bij die positie paste een voornaam en ~ veel belangrijker ~ verdedigbaar huis. In zijn oudste vorm was de burg te Coevorden een kunstmatige heuvel met (waarschijnlijk) een houten toren. Deze toren was een vluchtplaats bij gevaar; de woon~ en bedrijfsgebouwen waren gevestigd op de voorhof. Het hele complex was beschermd door houten muren en grachten.
Nadat de bisschop aan het eind van de veertiende eeuw diverse problemen heeft gehad met de heren van Coevorden werd het kasteel grondig verbouwd. Er verrees een nieuw stenen hoofdgebouw met torens op de hoeken. Het stenen gebouw omvatte een woonhuis en een kapel, een poortgebouw en een ringmuur. De bedrijfsgebouwen bleven gevestigd in de zogenaamde voorburcht, die was blijven bestaan.
Tussen 1522 en 1528 is het kasteel opnieuw ingrijpend verbouwd, door hertog Karel van Gelre en tussen 1536 en 1551 nogmaals, ditmaal onder gezag van keizer Karel V. Het gebouw kreeg ruw gezegd de vorm die het nu ook heeft. De gebouwen omvatten toentertijd een stenen hoofdgebouw met toren, ongeveer ter grootte van het huidige en een aantal bijgebouwen waaronder een turfschuur, hooihuis, bouwhuis, brouwhuis en bakhuis. Dit waren gebouwtjes van vakwerk met leemvullingen en met riet gedekt. Het geheel was gegroepeerd rondom een binnenplaats. De kracht van de verdediging school in de wal, die als een ring rond de gebouwen liep. Deze wal werd na 1538 voorzien van palissaden en versterkt. In 1541 werd de wal nogmaals in betere staat gebracht. Bij deze verbetering werd de herberg, die in de wal lag, gesloopt.
De vesting Coevorden is aangelegd tussen 1597 en 1607, na de verovering van Maurits. Wel was het kasteel meermalen versterkt, met name door de Spaanse veldheer Verdugo, die het voorzag van vijf bolwerken.
Rabenhaupt, die tot drost werd benoemd na zijn verdienstelijk optreden in 1672, heeft het huis zodanig laten herstellen “dat ’t selve voorts bij mij sal konnen worden bewoont.” In 1686 is sprake van herstel van gaten in muren en dak. Het gebouw raakte daarna snel in verval. Een gedeelte van het kasteel werd verhuurd aan particulieren, waarna in 1796 het kasteel door de Gecommitteerde Representanten werd geveild. Jan en Gerrit Woltersom werden voor / 1.675,– eigenaren van een huis en annexen staande op het Casteel. De kelder onder het gebouw werd eigendom van H. Wolssum. Deze was al huurder van de wijnkelder en de twee voormalige bierkelders en kreeg deze nu voor / 578,– in vaste eigendom.
In 1832 is stadssecretaris en later wethouder Jan Woltersom eigenaar. Het kasteel werd in deze tijd in tweeën gesplitst. In 1889 is er sprake van een woonhuis (het rechter gedeelte) en een pakhuis. In 1920 kwam het huis in bezit van Jan Willem van der Lely, burgemeester van Coevorden.
Het pakhuis was eigendom van Jan Gerrit Kramer. De benaming pakhuis en woonhuis duiden er op dat van het kasteel weinig meer over was. De gevel was bepleisterd, in de muren waren nieuwe vensters uitgebroken, er waren binnenmuren gemetseld enz.
In 1938 kocht de gemeente Coevorden de restanten van het kasteel met de bedoeling het te restaureren. Hiermee werd pas in 1968 een begin gemaakt. Bij de restauratie bleek het belangrijkste nog bestaande deel van het gebouw, de zaal, in oorsprong zeventiende~eeuws. Bij de restauratie is de zeventiende~eeuwse situatie hersteld. Door uitbraak van de latere binnenmuren ontstond opnieuw een grote zaal, zoals die ooit door de drost moet zijn gebruikt. Onder deze ruimte bevindt zich de drosten wijnkelder. De grond onder deze kelder bleek te bestaan uit opgebrachte vuile grond met takkenbossen. Dit duidt op een aangelegde heuvel.
De gedrongen toren was rond 1830 gesloopt. De lage vleugel is de jongste aanbouw. Deze moet zijn gebouwd tussen 1558 en 1563. Misschien nog het meest opvallende aan het gebouw is de rode kleur. Deze is oorspronkelijk. In 1661 heeft men het huis “tweemael met olyvarve laetten overfaerven.”
(Bron: “Huizen van Stand. Geschiedenis van de Drentse havezaten en andere herenhuizen en hun bewoners.” door J. Bos, F.J. Hulst en P. Brood.)