Bir vakıf eser olan İsmail Ağa Medresesi, Eşrefoğlu Cami’nin batısında yer almakta olup, ilk olarak 13. Yüzyıl sonlarında Seyfettin Süleyman Halil Bey tarafından yaptırılmıştır. Eser 1369 senesinde Haliloğlu İsmail Ağa tarafından geçirdiği onarımlarla bugünkü şeklini almıştır. Açık avlulu tek katlı ve tek eyvanlı medrese kesme taş malzeme ile inşa edilmiştir. Medresenin karşısında, sütü kesilen kadınların dua etmek için gelmesinden hareketle Süt Tekkesi olarak da adlandırılan İsmail Ağa Türbesi bulunmaktadır.