Berangkat dari kebutuhan masyarakat Kp. Cikuda Desa Cibiru Kulon Kecamatan Ujungberung Kabupaten Bandung terhadap adanya Sekolah Menengah Pertama (SMP) yang jarak dan biaya terjangkau mengingat pada waktu itu SMP yang ada sangat jauh jaraknya, sehingga banyak lulusan SDN Cikudayasa khususnya tidak dapat melanjutkan pendidikannya karena jauh yang jauh.
Pada tahun 1982, para tokoh masyarakat khususnya para pemerhati dunia pendidikan pada saat itu bermusyawarah dan berhasil memutuskan untuk mendirikan sebuah lembaga yang dapat menyelenggarakan pendidikan, berdirilah Yayasan Pendidikan Islam (YPI) Ar-Rosyidiyah dengan Akta Noratis Koswara Nomor 19 Tanggal 6 Mei 1983.
Pada awal didirikan YPI Ar-Rosyidiyah sebagaimana latar belakangnya untuk menampung lulusan SD, maka sebagai langkah awal didirikanlah Madrasah Tsanawiyah (MTs) Ar-Rosyidiyah pada tahun 1982 dan karena masyarakat pada saat itu belum mengenal tentang Madrasah Tsanawiyah, maka madrasah tsanawiyah lebih dikenal dengan sebutan Sekolah Menengah Pertama Islam (SMPI) sehingga MTs. Ar-Rosyidiyah lebih dikenal masyarakat dengan nama SMPI Ar-Rosyidiyah.
MTs. Ar-Rosyidiyah untuk pertama kalinya tahun 1982 menerima siswa sebanyak 24 orang dengan jumlah tenaga pengajar sebanyak 8 orang dan yang bertindak sebagai Kepala Sekolah adalah Bapak Drs. Encep Saefullah. Satu tahun kemudian, MTs. Ar-Rosyidiyah mendapat izin operasional dari Departemen Agama Propinsi Jawa Barat dengan terbitnya Piagam Madrasah Departemen Agama Republik Indonesia Propinsi Jawa Barat Nomor : 2/10/15/18/40 Tanggal 27 Agustus 1983 sehingga dengan diterimanya izin operasional tersebut MTs. Ar-Rosyidiyah berhak menurut hukum untuk menyelenggarakan pendidikan dan pengajaran dan diperbolehkan mengikuti Ujian Persamaan Madrasah Negeri.
Berdasarkan Piagam Madrasah tersebut, MTs. Ar-Rosyidiyah berkedudukan di YPI Ar-Rosyidiyah Kp. Cibiru Desa Cibiru Kecamatan Ujungberung Kabupaten Bandung. Oleh karena itu, dengan pertimbangan jarak terdekat, MTs Negeri Sukasari Cimahi dijadikan sebagai Sekolah Induk MTs. Ar-Rosyidiyah. Hal ini berlangsung hingga tahun 1990 dan mulai tahun 1991 MTs. Ar-Rosyidiyah menginduk ke MTs. Negeri 2 Bandung hingga sekarang. Dan seiring dengan perluasan wilayah Kotamadya Bandung hingga MTs. Ar-Rosyidiyah mengalami perubahan kedudukan di Cikuda RT. 01 RW. 011 Kelurahan Pasirbiru Kecamatan Cibiru Kotamadya Bandung.
Adapun pejabat kepala sekolah yang pernah memimpin MTs. Ar-Rosyidiyah sebagai berikut :
  1. Drs. H. Encep Saefullah tahun 1982 – 1987
  2. Otong Supriatna tahun 1988 – 2001
  3. Drs. Ayi Rahmat tahun 2002 – sekarang
Perkembangan siswa MTs. Ar-Rosyidiyah dari tahun ke tahun terus meningkat, semula jumlah siswa sebanyak 24 orang pada tahun 1982 dengan jumlah guru 8 orang hingga tahun 2006 dapat menampung jumlah siswa sebanyak 286 orang dengan jumlah guru 27 orang dan 8 orang pegawai.
Fasilitas yang dimiliki MTs. Ar-Rosyidiyah antara lain : Gedung lantai 2 milik sendiri sebanyak 13 lokal terdiri dari : 7 lokal ruang kelas, 1 lokal ruang kepala dan guru, 1 lokal ruang TU, Koperasi dan Gudang, 1 lokal ruang perpustakaan/computer, dan 3 lokal dipergunakan PBM Madrasah Aliyah Ar-Rosyidiyah. Fasilitas pendukung lainnya berupa lapang olah raga permanent, masjid, tempat parkir dan lain-lain. Dalam hal penyelenggaraan administrasi, mulai tahun 1995 MTs. Ar-Rosyidiyah telah menerapkan sistem komputerisasi walaupun masih LAN dan mulai tahun 2006 membuka kotak email sebagai langkah awal untuk membuka akses yang lebih luas menuju terujudnya visi dan misi MTs. Ar-Rosyidiyah.