Aslen Diyarbakır'lı olan Mustafa Sarp, profesyonel futbola Gaziosmanpaşa'da başladı. 1999-2002 yılları arasında üç sezon Gaziosmanpaşa forması giyen Mustafa Sarp, 2002 yılında Mersin İdman Yurdu'na transfer oldu.

İki sezon Mersin İdman Yurdu formasıyla ikinci ligde mücadele eden Sarp, ilk Süper Lig tecrübesini ise 2004-05 sezonunda Ankaraspor forması altında yaşadı. Ankaraspor'da 24 lig maçında forma giyen Mustafa Sarp, aynı sezonun sonunda Kayseri Erciyesspor'a transfer oldu. Kayseri'de 2006-2007 sezonunda 26 Süper Lig ve 10 Türkiye Kupası maçında forma giydi.

2007-2008 sezonu başında Bursaspor'a transfer olan oyuncu, geçtiğimiz sezon 28 maça çıktı, 4 gole imza attı ve 4 de sarı kart gördü. Mustafa Sarp, orta sahada savunmaya yönelik futboluyla dikkat çekiyor. 2006 yılında Çek Cumhuriyeti ile oynanan özel maçta ilk kez milli takımın formasını giyen Mustafa Sarp, 2 kere A Mili ve bir kere A2 Milli Takımın formasını taşıdı. 2009-2010 sezonunda Bursaspor'dan Galatasaray'a transfer oldu. Galatasaray - Tobol Kostanay 2. Maçında forma giydi , 64.dk da sarı kırmızılı ekibi 1-0 öne geçirdi ve Galatasaray'da ilk resmi golünü attı. 2009-2010 sezonunun ilk devresinde Beşiktaş karşısında bir golü vardır. UEFA Avrupa Ligi mücadelesinde Panathinaikos'a ve aynı zamanda ligde Gaziantepspor ile oynanan her 2 maçta da gol atan Mustafa Sarp, ön libero olmasına rağmen ilk sezonunda süpriz gollere imza atmıştır. 2009/2010 sezonunun ilk döneminde hırslı ve koşan yapısıyla Rıjkaard'ın gözüne girmiştir.Fakat 2. devrede performansı düşmüştür ve zaman zaman forma şansı bulamamıştır.

Milli takıma Fatih Terim tarafından Estonya maçı kadrosuna alındı ama forma şansı bulamadı.