Ma’had Abu Ubaidah bin Al-Jarrah secara resmi berdiri di kota medan pada tanggal 24 Januari 2005 yang berada dibawah naungan Universitas Muhammadiyah Sumatera Utara (UMSU). Sejak tanggal 24 januari 2005 sampai dengan tanggal 27 februari 2010 Ma’had Abu Ubaidah bin Al-Jarrah berkantor dan kampusnya berada di kampus III UMSU jalan kapten Mukhtar Basri