Woher der liebevolle Spitzname kam, ist nicht schwer zu erklären. Das Haus mit dem markanten Dach hat die Form einer historischen Kaffeemühle, nur die Kurbel fehlt. Schon in den 50er Jahren wurde das damalige Heimatmuseum so genannt. Nicht ganz so klar und einfach ist es allerdings, das Baujahr des Hauses zu bestimmen. Man nahm lange Zeit an, dass das Gebäude eines der ersten Profanbauten war, das überraschenderweise den Stadtbrand 1713 überstanden hat. Die äußere Form lässt auf eine andere Geschichte schließen. Die doppelt eingezogenen Böden passen eher zu einem schwedischen Beamtenhaus aus dem Beginn des 18. Jahrhunderts. Der älteste Teil des Hauses ist auf jeden Fall der Keller aus dem 15. Jahrhundert.

Genutzt wurde das Haus in den Jahrhunderten auf unterschiedliche Weise. Im 18. Jahrhundert war es Beamtenhaus. Nachdem die Schweden 1815 Wolgast verließen, hat der neue Besitzer hier höchstwahrscheinlich bald eine Kneipe eingerichtet, die bis in die 50er Jahre des 20. Jahrhunderts Bestand hatte. Um 1840 wurde ein Saal angebaut. Das Wahrzeichen der Gaststätte – „die goldene Traube“ – hing noch lange Zeit am Eingang des Hauses, auch als es schon längst Museum war. Die „Traube“ wurde allerdings abgenommen, weil sie zu viele Gäste auf eine falsche Fährte führte.

Bevor Mitte der 50er Jahre die Ära des Hauses als Museum begann, war hier nach dem Krieg auch ein Gemüseladen zu finden. Die Sprengung der Wolgaster Brücke 1945 verursachte einen Schaden am Haus: ein Granatsplitter traf einen Eckstiel des Hauses, der die Dachlast trägt. Das Haus geriet in Schieflage und musste freigezogen werden.

Mitte der 50er Jahre wurde ein kleines Heimatmuseum eingerichtet. Der Saal war bis 1972 Domizil der Neuapostolischen Kirche. Eine gründliche Sanierung mit großer Beteilung von Wolgaster Privatleuten und Betrieben erlebte das Haus zwischen 1975 und 1982. Die Diele, in die Zwischenwände eingezogen worden waren, wurde wieder freigelegt. Das Museum eröffnete in der unteren Etage. Ein Jahr später bezog es auch das erste Stockwerk. Der Dachboden wurde erst nach der zweiten großen Sanierung zwischen 1990 und 1995 nutzbar, bei der das Dach komplett hochgehoben wurde.