Kadaise, Kauno totoriai (etninė tauta, kuri nuo XIV amžiau apsigyveno Lietuvos Didžiojoje Kunigaikštystėje) XVI- XIX amžiuje palei Nemuno upės krantą (vad. Totorių skvere) turėjo medinę mečetę, kuri per Napoleono kariuomenės žygius 1812 m. žiemą, buvo sudeginta.  Nuo to laiko totoriai neturėjo bendrų maldos namų.

1847 m. kartu su visu Naujamiesčiu pagal patvirtintą Kauno plėtros planą buvo įsteigtos Kauno senosios kapinės, kuriose proporcingai pagal to meto gyventojų etninę ir religinę priklausomybę buvo suskirstyti atitinkami sklypai: katalikų bažnyčiai, liuteronams, stačiatikių bažnyčiai ir musulmonams (anksčiau vadinamų magometais). Šiai religinei konfesijai buvo skirtas apytiksliai vienas hektaras sklypo. Sklype nebuvo draudžiama statyti mokyklų, maldos namų ir kt. 

Kai kaipinės buvo paskirstytos, vietinis totorių kilmės kaunietis Aleksandras Iljasevičius, žinomos „Turkiškos kepyklos“ Kaune savininkas, tarpininkaudamas su vietine valdžia, gavo leidimą statyti mečetę musulmonams paskirtoje kapinių teritorijoje. Ir 1906 m. jis pastatė medinę mečetę (10x8 m² dydžio) Kauno senujų kapinių komplekse. Ši mečetė buvo pastatyta jo mirusių tėvų atminimui. Taip pat netoli medinės mečetės buvo pastatyti du mediniai pastatai, vienas buvo paskirstytas į imamo (mulos) namus ir mokyklėlę (medrasą). Visa teritorija buvo prižiūrima bei aprūpinta gražiu sodu. Trakų ir Totorių gatvės kampe būta ir musulmoniškų kapinių (miziaras). 

Pasibaigus Pirmajam pasauliniam karui, Lietuvos Respublika atgavo Nepriklausomybę ir atkūrė savarankišką valstybę, kuriuos laikinoji Lietuvos Respublikos sostine tapo Kaunas (Vilnius tuo metu buvo okupuotas Lenkijos). Miestas greitai modernizavosi bei plėtėsi.

1930 metais Kaunas mini jubiliejų – Vytauto Didžiojo mirties metines. Vyriausybė ruošėsi paminėti šiuos metus ne tik gausiais renginiais, bet ir naujomis statybomis. Jubiliejiniais metais buvo suplanuota pastatyti gausybę visuomeninės paskirties pastatų. Kaip rašoma to meto spaudoje,„Kauno tikintieji – jų yra apie 50 šeimynų, – valdžios padedami, pastatė šią naują mečetę vietoje senos, kuri buvo pastatydinta apie 1906 metus totorio, didžturčio Iliasevičiaus, garsiosios kadaise Kauno „turkų kepyklos“ savininko.“ Mečetė, savotiškas paminklas Vytauto Didžiojo laikais į Lietuvą atsikrausčiusiems totoriams, išsiskyrė kaip vienintelės sakralinio pobūdžio statinys laikinojoje sostinėje, skirtas pažymėti šiai datai.

Kauno mečetę projektuoti pasirinkti architektai Adolfas Netyksa ir Vaclovas Michnevičius. Taip iškilo vienintelė mūrinė mečetė Lietuvoje, Kauno tarpukario sumodernintų rytietiškų formų architektūrinis statinys. Mečetės statybos trūko kelis metus. Ji ofcialiai atidaryta Žalgirio mūšio minėjimo dieną - 1933 m. liepos 15 d. Mečetė veikė iki pat 1946 metų, vėliau nusavinta tuometinės Kauno miesto valdžios, vykdant TSRS komunistinės partijos įsakymą. Taip Kauno musulmonų bendruomenė buvo visiškai suardyta. Sovietų laikais, maldos namų paskirtis buvo pakeista: joje veikė cirkas. 

1959 m. visos Kauno senosios kapinės buvo panaikintos ir vietoj jų įrengtas "Ramybės parkas".  Pagal projektą buvo iškeltos kapinės ir nutiesti nauji takai. 

Lietuvai atgavus nepriklausomybę 1990 m., Lietuvos Respublikos Kultūros ir švietimo ministerijos nurodymu „Dėl Kauno mečetės grąžinimo Kauno musulmonų bendruomenei“ ir M. K. Čiurlionio muziejaus direktoriaus perdavimo-priėmimo aktu, mečetė ir kiti statiniai buvo perduoti Kauno musulmonų bendruomenei. Tais pačiais metais įvyko pirmosios religinės bendruomenės pamaldos. Mečetės atidarymo iškilmėse dalyvavo Lietuvos Respublikos ir Kauno miesto valdžios atstovai, Lenkijos ir Baltarusijos totorių delegacijos, musulmonų atstovai iš užsienio šalių (Anglijos, Rumunijos, Turkijos, Saudo Arabijos). Iškilmes filmavo Saudo Arabijos televizija.

Taigi nuo pat Nepriklausomybės laikų Kauno miesto musulmonų religinė bendruomenė saugo ir prižiūri mečetę, joje visada yra atliekamos šventinės maldos (penktadieniais ir per dvi didžiąsias šventes), o kitomis įprastomis dienomis atrakinamos durys visiems lankytojams. Bendruomeninė veikla toliau saugo totorių protėvių palikimą, paveldą ir tęsia jų tradicijas. Visoje mečetės teritorijoje pagal islamo (musulmonų-sunitų) religinius kanonus yra draudžiama: vedžioti šunis, niokoti augalus, šiukšlinti ir triukšmauti. Tai yra sakralinė vieta, skirta meditacijai ir šeimos poilsiui.