清光緒21年（西元1895年，日本明治28年）5月，日軍登陸臺灣，9月間大阪中立銀行，在基隆設立「大阪中立銀行基隆出張所（辦事處）」，次年臺灣總督樺山資紀，並且許可大阪中立銀行在臺設立分行，堪稱臺灣最早的現代化銀行。

1897年（明治30年），日本國會通過「臺灣銀行法」，臺灣銀行成為日本在臺灣殖民的金融經濟樞紐，1899年（明治32年）9月26日，株式會社臺灣銀行開始正式營運，日本政府以100萬日圓為額度，認購臺灣銀行股份。臺灣銀行並且接受臺灣總督府委託，發行臺灣地區貨幣「臺灣銀行券」，之後陸續拓展業務，據點廣及日本、中國大陸、香港、南洋、紐約、倫敦等地，並且成為日本南進政策的投資機構。

1903年（明治36年），日本興建臺灣銀行總部，這棟紅磚與斜頂的文藝復興式建築，位於臺灣銀行總部現址西側，後來因為白蟻蛀蝕，選擇在現址重建。從區位意涵上觀察，臺灣總督府（今總統府介壽館）的兩側，分別是高等法院與臺灣銀行，象徵著日本統治權力當中，司法與財政兩大支柱。

臺灣銀行銀行總部現址，由日本建築家西村好時設計，大倉土木負責施工。西村好時是日本的著名建築師，出生於1866年（慶應2年），曾經設計第一銀行本店、山二證券、滿州中央銀行總行、愛知縣廳舍第一銀行橫濱支店，與第一銀行丸太町支店等多項著名建築物。

1939年（昭和14年）完工的臺灣銀行銀行總部，建築牆體以及列柱皆為花崗石建材，揉合採用了多種西洋古典建築元素，例如四轉角渾重台柱、二樓高的八根列柱、石雕花瓶欄杆的設計概念，南面的玄關木門厚重，整體具有穩重理性的美感。

為求建物堅固，臺灣銀行銀行總部使用的鋼筋密度甚高，二次世界大戰中，建物曾遭轟炸，屋頂於戰後重修，目前的外觀牆體與列柱仍是最初的花崗石原物。

臺灣光復之後，日本結束對於臺灣銀行的控制，70多年來，改制後的臺灣銀行先後曾經隸屬於臺灣省行政長官公署、臺灣省政府與財政部，在中央銀行復業之前，一直擔負實質國家銀行的角色。臺灣銀行發行的新臺幣，也成為中華民國政府遷臺後通用的貨幣迄今。

位於臺北市重慶南路1段120號的臺灣銀行銀行總部，現已被列為臺北市市定古蹟。以銀行業作為劇本背景的日本連續劇「華麗一族」，也曾經借用建物取景，金融業的臨場感與豪華氣息，經由臺灣銀行總部的氣氛烘托，發揮淋漓盡致。