Istana Seri Terentang di Pekan dirobohkan dalam tahun
1940-an, iaitu dalam zaman pemerintahan Sultan Abu Bakar Ri’ayatuddin
Al-Mu’adzam Shah. Sehingga kini belum dapat dipastikan mengapa istana yang
banyak berlangsungnya peristiwa-peristiwa bersejarah itu dirobohkan.
Menurut Sejarah Pahang, Istana Seri Terentang merupakan istana ketiga tertua di Pekan. Dikatakan dibina pada tahun 1904 dan siap dalam tahun 1908. Kos pembinaannya dikatakan hanya RM21,187. Nama istana ini diambil sempena banyak pokok terentang yang mengelilingi kawasan tersebut pada masa itu.
Reka bentuk istana ini adalah hasil ilham Tengku Besar Mahmud ibni Sultan Ahmad Al-Mu'azzam Shah, yang kemudiannya dilantik menjadi Sultan Pahang dalam tahun 1914. Selepas kemangkatan Sultan Mahmud dalam tahun 1917, adinda Almarhum, Sultan Abdullah Al-Mu'tassim Billah bersemayam di istana ini.
Sultan Abu Bakar Ri'ayatuddin Al-Mu'adzam Shah juga bersemayam di
Istana Seri Terentang sejak menjadi Sultan dalam tahun 1932 dan berpindah ke Istana Kota Beram
(kini Muzium Sultan Abu Bakar), setelah Istana Seri Terentang dirobohkan.
Ada di kalangan orang-orang tua di Pekan mengatakan
bahawa Sultan Abu Bakar bercadang hendak membina sebuah istana baharu dan
kerana itulah Istana Seri Terentang dirobohkan. Bagaimanapun, istana baharu
yang dicadangkan itu tidak dibina di atas tapak Istana Seri Terentang,
sebaliknya ia dibina di satu kawasan berhampiran.
Apabila istana baharu yang dinamakan Istana Abu Bakar itu
siap dibina pada awal tahun 1970-an, Sultan Pahang telah berangkat berpindah
dan bersemayam di situ sehingga baginda mangkat pada 5 Mei 1974.
Apabila Sultan Haji Ahmad Shah menaiki tahta dan
ditabalkan pada 8 Mei 1975, baginda juga bersemayam di Istana Abu Bakar dan
tapak Istana Seri Terentang itu terus terbiar tanpa sebarang cadangan untuk
dijadikan istana baharu pada masa ini.