Urkundlich wird schon im Jahre 1209 eine Pfarrei mit Pfarrhof für Weißensee erwähnt.

Ab etwa 1589 wurde das Haus zweckentfremdet. Es diente fortan dem Abt vom Kloster St. Mang in Füssen zur Bequemlichkeit und der Fischerei, wenn er sich in Weißensee zur Erholung aufhielt.

Mit der bischöflichen Anordnung, einen ständigen Seelsorger zur Verrichtung der pfarrlichen Aufgaben in Weißensee zu entsenden, wurde am 03.06.1766 mit dem Umbau des Pfarrhofes durch den Baumeister Franz Karl Fischer, dem Sohn des Kirchenbaumeisters Johann Georg Fischer aus Füssen, begonnen. Nach 200 Jahren erfolgte erstmals eine gründliche Renovierung in den Jahren 1963 bis 1965.

Das Gebäude mit seinem quadratischen Grundriss und hohen steilen Walmdach überzeugt in seiner harmonischen Gestalt.