Das Sommerhaus wurde in der Zeit zwischen 1616 bis 1644 im Auftrag von Philipp Wallier erbaut. Es entstand nach französischem Vorbild, mit Ecktürmchen und Flügelbauten. Das heutige „Sommerhaus de Vigier“ stellt sich dar als siebenachsiger Rechteckbau und gilt als eines der wohlproportioniertesten Türmlihäuser.

Jean Frédéric de Vigier war 1669 der erste Vigier, der das Haus bewohnte. Seine Ehefrau war Maria Margaretha, die Tochter von Philipp Wallier. Sie starb jedoch 1670 bei einer Geburt, so dass das Sommerhaus in der Familie Wallier blieb. Erst 1822 ging es ins Eigentum der Familie Vigier über, als es Urs de Vigier erben konnte. Urs zählte zur ersten Generation der liberalen Schweizer Politiker und gehörte von 1822 bis zu seinem Tod 1845 der Solothurner Regierung an. Wilhelm, der jüngste seiner fünf Söhne, ging als der legendäre «Landammann Vigier» in die Geschichte des solothurnischen und schweizerischen Radikalismus ein. Seinem Bruder Urs (1814–1879), ebenfalls Regierungsrat und Verfasser einer Solothurner Geschichte, die 1878 publiziert wurde, fiel später das Sommerhaus zu. Von seinem Sohn, dem Bankier Karl Vigier, ging das Haus weiter an Dr. iur. Wilhelm von Vigier (1882–1974). 1962 schliesslich übernahm es Bill de Vigier. Dieser schenkte das Sommerhaus 1993 der von ihm gegründeten Bill de Vigier Stiftung, die den Erhalt der historischen Liegenschaft zum Zweck hat.