Kendi adını taşıyan sokakta yer alan Ali Gav Medresesi, 12. Yüzyıl sonu 13. Yüzyıl başlarına tarihlenen Selçuklu dönemine ait bir vakıf eserdir. Taş ve tuğla malzemeden inşa edilmiş olan yapıdan günümüze sadece ana eyvan ve iki yanındaki odalar kalmışken, yapı yakın dönemde geçirdiği restorasyon süreciyle beraber tamamıyla ayağa kaldırılmıştır. Kapalı avlulu, tek katlı ve tek eyvanlı medreseler plan grubuna giren yapının eyvanının doğusundaki birim türbedir. Türbe içerisinde ahşap bir sanduka bulunmaktadır. Yapı, 1901 senesinde Ferit Paşa döneminde Mahmudiye Medresesi adıyla eğitime açılmıştır.