Здание построено на средства прихожан мечети "Марджания". История медресе восходит к 1770 г., когда в Казани было завершено строительство мечети "Марджания". В одном из ее помещений разместился мектеб. Занятия здесь проводились в течение 20 лет, а затем, видимо из-за увеличившегося количества учащихся, новый мулла мечети И. Хузяш выстроил отдельное здание медресе на берегу о. Кабан. Со временем и оно пришло в ветхость, поэтому в 1837 г. купец Г.М. Юнусов специально для училища построил большой полукаменный дом на современной ул. Карима.
Именно здесь начал свою педагогическую деятельность видный ученый и просветитель Ш. Марджани, который, приехав в 1849 г. из Средней Азии, стал имам-хатибом первого прихода Старотатарской слободы. С этого момента в истории медресе данной махалли начинается новый этап. Будучи талантливым педагогом, Ш. Марджани реформировал, насколько это было возможно в те годы, учебный процесс.
Новое здание медресе было возведено после того, как мударрис Ш. Марджани отказался от сотрудничества с попечителями прихода братьями Юнусовыми и прекратил преподавательский процесс в старом училищном здании на ул. Карима.
В этом медресе в разные годы учились: артист С.Х. Айдаров, поэт А.З. Сагиди, композитор С. Сайдашев, большевик Х.М. Ямашев и др. Во флигеле "Марджании" (ныне ул. Султана, 6/15) в 1896-1917 гг. находился мектеб по обучению детей-сирот попечительства Вакуфного имущества А.В. Чукина. Здание является частью общественно-культурного комплекса, оформившегося во 2-й половине XIX в.