Sewaktu menghadiri hari pertabalan King George VI pada
tahun 1937 di London, Sultan Abu Bakar tidak melepaskan peluang untuk
menunggang kuda sepanjang baginda berada di kota tersebut.
Setiap hari baginda akan belajar cara-cara untuk menjadi
penunggang kuda yang baik. Apabila Sultan Abu Bakar pulang ke Pahang, baginda
terus mendalami ilmu menunggang kuda sehingga menjadi seorang penunggang kuda
terbaik dalam sukan polo di Tanah Melayu.
Pasukan Polo Diraja Pahang yang diketuai oleh baginda
menjadi terkenal di Tanah Melayu pada waktu itu. Pada masa ini, Kelab Polo
Diraja Pahang merupakan antara kelab polo yang terunggul di Malaysia.