Pada tahun 1995 di Ciputat Jakarta telah berdiri suatu yayasan dengan nama Yayasan Pendidikan Rahmany. Yayasan ini merencanakan mendirikan Lembaga Pendidikan Menengah baik Agama maupun Umum di desa Bojong Sari Sawangan Bogor di atas tanah ±4000 M2. Setelah mendengar informasi bahwa di Sekayu Ibu kota Musi Banyuasin belum terdapat jenjang pendidikan tinggi sedangkan kabupaten lain yang usianya masih muda telah memiliki jenjang pendidikan tinggi, sehingga Ketua Yayasan lebih termotivasi untuk mengalihkan rencana/program pembangunan pendidikannya di Sekayu. 

Menindaklanjuti hal tersebut di atas, maka pada tanggal 16-17 April 1999 bertepatan dengan tanggal 29 Zulhijah 1419 H malam tanggal 1 Muharam 1420 H diadakan musyawarah intern keluarga di Palembang bertempat di kediaman Hj. Aisyah Rahman dengan tujuan untuk bermusyawarah tentang sejauhmana kebenaran informasi seperti tersebut di atas. Dalam pertemuan tersebut hadir: 

1. Hj. Aisyah Rahman (Isteri Abdur Rahman Haruny almarhum) 
2. Drs. H. M. Yusuf Harun (Adik kandung Almarhum, Ketua Yayasan Pendidikan Rahmany Jakarta) 
3. Drs. M. Idris. AR (Anak kandung Almarhum) 
4. Ny. Rosyidah Ibrahim (Anak kandung Almarhum) 
5. Ahmad Rody. AR (Anak kandung Almarhum) 
6. Su'aidy. AR., S. Sos (Anak kandung Almarhum) 

Dari hasil musyawarah yang dilakukan bahwa peserta musyawarah setuju jika di Sekayu diselenggarakan Sekolah Tinggi. Untuk merealisasikan rencana tersebut disepakati untuk mendirikan Yayasan Rahmany Sekayu melalui Akta Notaris Bapak Zainuddin, SH Nomor: 3/1999 tanggal 10 Mei 1999 dan terdaftar pada Kepanitraan Pengadilan Negeri Sekayu No: 48/1999 tanggal 14 Mei 1999. 

Seiring dengan UU RI Nomor: 28 Tahun 2004 yo UU RI Nomor: 16 Tahun 2001 tentang Yayasan, maka dilakukanlah perombakan kepengurusan Yayasan Rahmany yang dikukuhkan dengan akta notaris H. Fauzi Lesmana, SH. Nomor: 1 yo. Surat Departemen Hukum dan Hak Asasi Manusia R.I. Nomor: C-HT.01.09-130.

Kata "Rahmany" dalam ungkapan Yayasan Rahmany berasal dari Bahasa Arab yang berarti Maha Pengasih. Oleh karena itu segala usaha yang diprogramkan dan dilaksanakan oleh Yayasan ini senantiasa didasari rasa kasih sayang dan keikhlasan serta dijiwai oleh semangat Islam. Dari sisi lain kata "Rahmany" diambil dari nama kakak/orang tua dan guru kami yaitu Abdur Rahman Bin H. Muhammad Harun (Haruny). Huruf "Y" yang terdapat dalam kata Rahmany diantaranya berarti turunan. 

Dengan menyebut nama beliau sebagai nama Yayasan, kami bermaksud mengenang Almarhum dan jasa-jasanya kepada keluarga, juga dengan menyelenggarakan Pendidikan di Yayasan ini. Kiranya Allah SWT akan menempatkan Yayasan dimaksud selaku amal jariyah Almarhum khususnya serta seluruh keluarga yang telah mendahuluinya. Begitu pula harapan semua keluarga kiranya bagi siapa saja yang ikut berpartisipasi dalam usaha Yayasan ini semoga Allah SWT menerima amal mereka sebagai amal shaleh serta mendapat ganjaran yang berlipat ganda. Amin, ya Robbal 'Alamin. 

Seperti telah disebutkan di atas bahwa keberadaan Yayasan ini merupakan wadah khusus penyelenggaraan jenjang pendidikan tinggi. Untuk merealisasikan program yang berada dalam wadah tersebut Yayasan Rahmany mengambil langkah-langkah: 

1. Menghadap Bapak Ketua DPRD Tk. II MUBA untuk mendapatkan dukungan dan rekomendasi dan Alhamdulillah telah diterbitkannya surat No: 642.3/583/DPRD/1999 tanggal 27 Mei 1999. 
2. Menghadap Bapak Bupati untuk mendapat dukungan mohon rekomendasi dan Alhamdulillah telah diterbitkannya surat No: 420/362/VII/1999 tanggal 21 Mei 1999. 
3. Menghadap Ketua MUI Musi Banyuasin untuk mendapat dukungan dan bantuan pendirian Sekolah Tinggi Ilmu Ekonomi Rahmaniyah Sekayu dan Alhamdulillah diterbitkannya surat No: 016/MUI-MUBA/VI/1999 tanggal 12 Juni 1999. 
4. Menghadap Bapak Rektor UNSRI untuk mendapat dukungan dan bantuan dan Alhamdulillah telah diterbitkanya surat No: 338/RT/PT/II.I.I/G/1999 tanggal 3 Agustus 1999. 
5. Menghadap Koordinator Kordinasi Perguruan Tinggi Swasta (KOPERTIS) Wilayah II untuk mendapat rekomendasi dan Alhamdulillah telah terbitkannya surat No: 1990/002.2/KL.03.02/ 1999 tanggal 28 Agustus 1999. 
6. Sekolah Tinggi Ilmu Ekonomi Rahmaniyah Sekayu mendapatkan Status Terdaftar (Izin Penyelenggaraan/ Operasional) melalui SK. Mendikbud Nomor 153/D/O/1999 tanggal 9 September 1999. 

Dengan landasan dan dukungan sebagaimana uraian di atas, pada Tahun Akademik 1999/2000 didirikanlah Sekolah Tinggi Ilmu Ekonomi Rahmaniyah (STIER) yang berlokasi di Sekayu Kota Randik jalan Merdeka No. 531 Kelurahan Serasan Jaya dan sebagai ketua sementara ditunjuk Bapak Drs. H. Madani Senen dan pada bulan Desember 1999 dikukuhkan sebagai ketua definitif dengan SK Yayasan No: 28/YRS/XI/1999 tanggal 4 Desember 1999. Sekolah Tinggi Ilmu Ekonomi Rahmaniyah Sekayu dengan status terdaftar melalui Surat Keputusan Mendikbud No. 153/D/O/1999 tanggal 9 September 1999. Pada tahun 2004, STIE Rahmaniyah Sekayu telah terakreditasi dengan:

1. SK. BAN-PT Depdiknas No. 045/BAN-PT/Ak-VIII/SI/X/2004 tanggal 26 Oktober 2004 tentang Hasil dan Peringkat Akreditasi Program Studi Untuk Program Sarjana (SI) di Perguruan Tinggi dengan peringkat B. 
2. SK. BAN PT Nomor: 012/BAN-PT/Ak-IV/Dpl-III/XI/2004 tanggal 8 November 2004 tentang Hasil dan Peringkat Akreditasi Program Studi untuk Program Diploma (DIII) di Perguruan Tinggi dengan peringkat B. 

Pada tahun akademik 2006/2007 Sekolah Tinggi Ilmu Ekonomi Rahmaniyah Sekayu juga membuka Program Studi S-I Akuntansi. Program studi tersebut telah menerima mahasiswa pada tahun akademik 2006/2007 dengan izin penyelenggaraan dari Direktorat Jenderal Pendidikan Tinggi Departemen Pendidikan Nasional nomor 1900/D/T/2006 tanggal 9 Juni 2006 perihal Ijin Penyelenggaraan Program Studi Akuntansi (S1) pada STIE Rahmaniyah Sekayu. 

Pada tahun akademik 2023/2024 Status Perguruan Tinggi berubah dari Sekolah Tinggi menjadi Institut yaitu Institut Rahmaniyah Sekayu atau disingkat dengan IRS. Pada Bulan September 2022, Badan Pembina dan Badan Pengurus Yayasan Rahmany, yakni: 

1. Pembina: 
    Ketua : H. Sufyan Abdurrachman , SIP. 
    Wakil Ketua : A. Rody Abdurrachman
2.  Pengurus : 
    Ketua : Dr. M. Yustian Yusa, S.S., M.Si. 
    Sekertaris : Imam Taufiq HA, S.Pd.I. 
    Bendahara : Irlan Fery, S.E., M.Si. 
3. Pejabat Struktural STIE Rahmaniyah dan STIH Rahmaniyah 
   Ketiganya sepakat untuk melakukan perubahan status dari Sekolah Tinggi menjadi Institut, atas dasar hal tersebut Yayasan Rahmany membentuk tim Penggabungan 2 (dua)  Sekolah Tinggi yakni Sekolah Tinggi llmu Ekonomi Rahmaniyah dan Sekolah Tinggi llmu Hukum Rahmaniyah menjadi INSTITUT RAHMANIYAH SEKAYU (IRS) dan membentuk Tim Akselerasi Penggabungan atau Penyatuan Perguruan Tinggi Swasta (APPPPTS) Tahun 2022. Pada tanggal 22 Juni 2023 Terbitlah Surat Keputusan Menteri Pendidikan, Kebudayaan, Riset, dan Teknologi Nomor: 556/E/O/2023 tentang Izin Penggabungan Sekolah Tinggi llmu Ekonomi Rahmaniyah di Kabupaten Musi Banyuasin dan Sekolah Tinggi llmu Hukum Rahmaniyah di Kabupaten Musi Banyuasin menjadi INSTITUT RAHMANIYAH SEKAYU di Kabupaten Musi Banyuasin Provinsi Sumatera Selatan yang Diselenggarakan oleh Yayasan Rahmany.