Здесь, вблизи Татарки, с середины ХIХ века компактно проживали мусульмане.
Как сообщает Духовное управления мусульман Украины, в 1994 году во время проведения первого съезда мусульман Украины тут был заложен первый камень в фундамент мечети. Три года ушло на получение разрешений, согласование проектной документации, решение вопроса с землеотводом. В 1998 мусульмане уже имели возможность молиться в одном из построенных помещений.
Строительство происходило поэтапно, благодаря финансовой поддержке верующих. Уже в 2001 году в помещении мечети состоялись первые праздничные молитвы, в которых приняло участие около двух тысяч верующих.
Духовное управление мусульман Украины обратилось к городским властям с просьбой о расширении площади мечети Ар-Рахма. Новый проект, который был утвержден в 2007 году, предусматривал увеличение молитвенного зала, построение минарета, административного корпуса и медресе. В ноябре 2011 года все работы по сооружению мечети были завершены.
