Der Hirschen entstand in vier Ausbaustufen. In der ersten Stufe wurde der Ostbau errichtet. Am Gebäude, das zuerst als einfaches Gasthaus genutzt wurde, baute man während 140 Jahren. 20 Jahre nach der Fertigstellung der 1. Bauphase musste das ehemalige Gasthaus einem neuen Gebäude weichen. Es wurde verkauft und in Sigriswil neu aufgebaut. In der zweiten Bauphase entstand 1863 das Nachfolgergebäude. In der 3. Phase im Jahr 1897 wurde der Westbau oder die sogenannte Dependance errichtet. Der deutsche Architekt Graber hat die beiden Gebäudeteile um 1909 mit einem Mittelbau zu einem Ganzen verbunden. Der Mitteltrakt wurde im Neubarock geprägtem Heimatstil erbaut. Auffällig ist der halbovale Loggia-Vorbau in der Mitte des Gebäudes.