Pemilik asal bangunan besar ini ialah seorang jutawan berketurunan Cina yang bernama Chan Wing. Rumah besar ini dibina dalam tahun 1928 dan siap dibina sepenuhnya dalam tahun 1933, sebagai kediaman beliau bersama 10 orang isteri dan 26 orang anak-anaknya. Keluarga jutawan ini menetap di rumah ini sehingga tahun 1941.
Keluarga jutawan ini terpaksa meninggalkan Malaya apabila Jepun mula menyerang dalam tahun 1941 dan rumah ini dijadikan sebagai Kediaman Rasmi Gabenor Jepun di Tanah Melayu. Selepas Jepun menyerah kalah pada tahun 1945, rumah ini telah diambil alih oleh kerajaan Inggeris dan dijadikan sebagai Mes Pegawai Kanan British berpangkat Brigedier Jeneral dan ke atas.
Tidak lama kemudian iaitu dalam tahun 1949, bangunan ini telah disewakan kepada kerajaan negeri Selangor untuk dijadikan sebagai Istana Sultan Selangor ketika itu, iaitu Sultan Hishamuddin Alam Shah ibni Almarhum Sultan Alaeddin Sulaiman Shah. Bagaimanapun, Sultan Hishamuddin Alam Shah tidak lama bersemayam di sini dan istana itu ditinggalkan tanpa dihuni secara tetap.
Pertabalan Tuanku Haji Ahmad Shah sebagai Seri Paduka Baginda Yang Dipertuan Agong ke-VII (10 Julai 1980)
Tuanku Mizan Zainal Abidin dan Tuanku Nur Zahirah merupakan Seri Paduka Baginda Yang Dipertuan Agong dan Seri Paduka Baginda Raja Permaisuri Agong yang terakhir bersemayam di istana ini. Istana Negara yang baharu telah dibina di Jalan Duta, sebagai istana rasmi tempat bersemayam Seri Paduka Baginda Yang Dipertuan Agong negara Malaysia. Tuanku Abdul Halim Al-Mu'adzam Shah dan Tuanku Haminah menjadi Seri Paduka Baginda Yang Dipertuan Agong dan Seri Paduka Baginda Raja Permaisuri Agong yang pertama bersemayam di Istana Negara Jalan Duta.