清咸豐3年（西元1853年），太平天國攻陷南京，進逼上海。影響了外國商人在華的貿易活動，海關監督吳建彰因戰亂避禍，業務中斷，促使英、美、法三國駐上海領事，討論設置新制海關。

咸豐4年7月12日，新制海關正式於上海建立，成為現行海關制度的起源。新制海關名義上以外國人幫辦上海海關監督，稱為稅務監督（Inspector of Customs），掌握實質大權。

新制海關效率精進，對來華從商的外籍人士，以及需款孔急的清廷當局都有相當助益。咸豐8年訂定的中英天津條約，規定各口岸統一邀請英國人士幫辦稅務，我國海關大權於是開始由英國人士獨攬，年僅27歲，已在上海江海關擔任4年稅務監督的英人李泰國（Horatio Nelson Lay），一躍成為舉足輕重的海關總稅務司。

李泰國因個性跋扈，擅做主張，引發風波去職之後；精通華語，善於協調的赫德（Robert Hart）繼任總稅務司，赫德上任時不過28歲，在海關共擔任總稅務司長達48年之久。

赫德慎用關員，注重提升海關的國際性與專業性，海關在我國變亂時局中，始終中立自持，同時不斷擴大規模。赫德就任時，外籍關員僅有13位左右，至光緒14年（1888年），已經大幅增加至678位，海關轄區除本國外，擴及港澳、朝鮮、西南，堪稱海關史上第一個黃金時期。臺灣也於同治2年（1863年），分設淡水海關與基隆支關。

赫德時期的海關，兼辦關務、洋務、外交，海關徵稅、統計、浚港、檢疫、燈塔、氣象等職能，赫德也協助我國完成郵政系統，被目為中國的首席外籍顧問。

赫德去世時，清廷追贈太子太保的榮銜，海關當時已有約2萬人的員額，其中外籍關員占1,400多位。

民初因財政尚未統一，國家常需向外舉債，時常以徵收穩定的關稅作為擔保品，海關總稅務司將關稅收入存入外國銀行，時人稱為太上財政總長。

我國因稅則無法自主，國內產業凋蔽，國人要求關稅自主的呼聲不斷，成為國民政府的重要外交訴求。國民政府統一全國後，海關開始停止招用外籍關員，推動關員待遇平等，19年12月，國民政府正式公布海關稅則，打破了自道光22年（1842年）南京條約訂定後，協定關稅的不平等局面，財政部並下設關務署，要求海關總稅務司署將稅款解繳至中央銀行，以為國用。

抗戰開始後，因國土淪陷，許多海關無法執行業務，甚至為日本竊管；38年底，大陸戡亂戰局逆轉，美籍海關總稅務司李度（Lester Knox Little）撤退來臺，同來臺灣的關員僅有12位；至60年代，因我國對外貿易大幅成長，海關再度擴大編制，至80年改制為財政部關稅總局前，海關總稅務司署的編制設有徵課處、稅則處、查緝處、統計處、海務處、資訊管理中心、驗估中心、法規室、企劃考核室、秘書處、會計處、總務處、人事室、監察室、訴願審議委員會，以及稅則分類估價評議會等單位。財政部關稅總局並於102年1月1日起配合組織調整，更名為財政部關務署。

海關目前負責稽徵關稅、貨物查驗、進出口貿易統計、代徵稅費、代為執行外匯貿易管制與代為執行其他管制等業務。

為了保存傳承海關悠久的歷史，財政部關務署在臺北市塔城街13號1、2樓，設立海關博物館，典藏海關百餘年的文物，展示歷年來的業務發展概況，以及多種珍奇的沒入商品。

百餘年來海關人終年無休，不僅為國家財政奠定基礎，協助對外經貿的永續發展，更在國境線上，建立起經濟與安全防線，如同屹立海疆的燈塔般，長久照耀四方。