Di bawah Peraturan-Peraturan Pertubuhan 1966 (peraturan 5) satu pertubuhan  telah ditubuh dan diwartakan dalam Warta Kerajaan Persekutuan pada 10 September 1979 yang dikenali dengan nama “MAJLIS SUKAN PENJARA MALAYSIA” di bawah Nombor Pendaftaran 1698 (Perak). Keahlian majlis ini adalah terdiri dari kelab-kelab sukan seluruh institusi Penjara Malaysia termasuk Sabah dan Sarawak

Pejabat Majlis Sukan Penjara Malaysia pada ketika itu beroperasi di Bangunan Ibu Pejabat Penjara Malaysia bersebelahan dengan Pejabat Tanah dan Daerah Larut Matang, Taiping sehinggalah pada 10 Januari 1991 pejabat MSPM telah dipindahkan ke Kajang, Selangor bersama-sama pemindahan Ibu Pejabat Penjara Malaysia.

Mengikut sejarah Bangunan ini telah dibina pada tahun 1897 dan ianya dirasmikan oleh D.Y.M.M. Sultan Idris Nurshidul 'Adzam' Shah. Bangunan ini terletak di sebelah timur laut bandar Taiping iaitu di persimpangan Jalan Kota dan Jalan Alang Ahmad. Bangunan yang setinggi dua tingkat dan berbentuk 'U' ini didirikan dalam tahun 1897 sebagai Pejabat Penasihat British kemudianya dijadikan Pejabat Setiausaha Kerajaan Negeri dan seterusnya sebagai Dewan Undangan Negeri. Selepas peperangan dunia kedua pusat pentadbiran Negeri Perak telah dipindahkan ke Ipoh dan bangunan ini telah dijadikan Ibu Pejabat Penjara Malaysia serta Pejabat Daerah dan Tanah Larut Matang. Pada tahun 1991 bangunan ini telah diserah sepenuhnya kepada Pejabat Daerah dan Tanah Larut Matang.