在臺灣享有盛名的外籍傳教士與醫師馬偕博士（George Leslie Mackay），曾經這樣描述淡水稅務司的官邸：

牛津學堂的相近處，有兩座宣教士所住的白屋（white dwelling houses）幾乎為樹木所隱蔽，都是平房，有別墅式的瓦屋頂及白色牆壁，被稱作小屋（bungalow）。再遠些，還有兩座同樣的平屋—其中一座在後面一點，是海關秘書所住的，另一座和佈道團的房屋並列，是中國海關的稅務司所住的。

馬偕博士所見的稅務司官邸，是不是今天這棟房屋，或者是在原址重建，考據上仍有爭議；民國38年時，海關總稅務司署末代外籍總稅務司李度（Lester Knox Little）曾暫時在這裡居住，這棟建築因此被冠上「總稅務司」一名，前清淡水總稅務司成為這幢三級古蹟的正式名稱，但事實上，清代的淡水只設有稅務司一職，真正的總稅務司，則當駐於北京。

清咸豐8年（西元1858年）時，天津條約增開淡水為口岸，之後清廷勘定滬尾作為通商碼頭，並且預備設置海關，同治元年（1862年）6月22日，淡水海關正式開市，之後清廷又陸續在雞籠口、打狗、安平等地設立海關，而以淡水總理臺灣關務。

淡水設立海關之後，利用滬尾水師守備署舊署，作為海關公署的辦公地，首任的海關監督由福建候補道區天民擔任，當時淡水海關完全由華人管理。

同治2年（1863年）時，福州海關稅務司法人美里登（De Meritens）建議臺灣多設口岸，並且由外籍稅務司管理，得到署理上海通商大臣李鴻章同意辦理，第一位抵臺的代理稅務司，是英國籍的麥士威（W. Maxwell），之後淡水海關編制有稅務司、頭等幫辦、一等幫辦、二等幫辦、三等幫辦、四等幫辦、幫辦、供事、總巡、二等驗貨、三等驗貨、頭等鈐子手、二等鈐子手、三等鈐子手、醫師、技師等職，人員多半為英國籍。

淡水開港之後，外籍人士來此貿易傳教日多，由於居住習慣不同，不願與華人混居，因此在淡水埔頂形成了外籍人士的聚居區域，當中的領事館、學校、住宅、洋行、醫院、教堂等等，風格都仿照國外形式，成為淡水的洋樓區。

早期的外籍海關關員可能租屋而居，同治5年（1866年）的一份土地買賣契約，證明當時代理稅務司好為爾（J. W. Howell）有意興建供稅務司使用的住宅，到了光緒元年（1875年），另行修建了另外兩棟形式類似的海關關員宿舍，各讓書記與下級關員使用，光緒10年（1884年）中法戰爭當中，書記使用的宿舍被炸毀，之後只有兩棟房舍，被馬偕博士記載下來。

中日甲午戰爭後，清廷割讓臺灣，光緒廿一年（1895年），日本稅關鑑定官野村材二抵達淡水，海關稅務司馬士（H. B. Morse）向日方表示，清廷是以包稅的方式處理海關，因此房屋、地產都是總稅務司赫德（Sir Robert Hart）的私人產業，日本清查後發現，稅務司官邸確實登記在赫德名下，最後日本以白銀5萬兩，買下相關財產，完成移交業務。

根據記述，日本首相伊藤博文在日本據臺週年（1896年，日本明治29年），來臺參加紀念活動時，曾經夜宿於淡水稅務司官邸，但隨著淡水港逐漸沒落，建築物失修傾圮，甚而被當地淡水中學學生稱作鬼屋。

今日的小白宮，可能是另一棟關員宿舍，或經過重建已經不易考究，直到臺灣光復之後，相關建物被我國海關接收，之後並且提供總稅務司李度暫居，因此總稅務司官邸的盛名，乃開始不脛而走。

84年時，財政部關稅總局決定將稅務司官邸報廢改建，但是引起了地方人士的反對，經過一連串的溝通協調；86年初，內政部臺閩地區古蹟評鑑審議會議正式評定小白宮為三級古蹟；90年時並且由政府委託進行「前清淡水總稅務司官邸調查研究及修護計畫」，目前建物與庭園景致，經過整頓煥然一新，再度成為淡水老街上，引入入勝的地標之一，百年前帆船汽輪，舟楫川流的繁華景象，似乎就在不遠的眼前。