Das in schlechtem Zustand befindliche Gebäude wurde 1937 an die Stadt Witten verkauft und in der Folge unter anderem von der Hitlerjugend genutzt. Der Weltbeherrschungs-Größenwahn der Nazis hatte Folgen. Bei den alliierte Luftangriffen am 12. Dezember 1944 und 19. März 1945 wurde Haus Witten schwer beschädigt.
Danach stand Haus Witten für fast 40 Jahre als Ruine an der Ruhrstraße. Nach der Bombardierung und im Jahr 1964 wurden weitere Gebäudeteile entfernt, um die Ruine zu sichern. 1975 bis 1988 wurde die Ruine restauriert, wobei weitere Teile verlorengingen. Erst danach wurde eine grundsätzliche denkmalerhaltende Lösung mit einer neuen Nutzung des Gebäudes angestrebt.