С эпохи императрицы Анны Иоанновны на месте нынешних «Крестов» располагался так называемый «Винный городок». В 1868 году он был преобразован в комплекс сооружений (спланирован архитектором В. П. Львовым) для краткосрочного содержания арестантов (центральная пересыльная тюрьма, т. н. «централ»). Существующая в настоящее время тюрьма была построена в кирпичном стиле в 1884—1892 гг. по проекту архитектора А. О. Томишко. Её комплекс включал два пятиэтажных крестообразных в плане корпуса (традиционная для того времени планировка тюремных зданий, их форма определила название тюрьмы), в которых было 960 камер, рассчитанных на 1150 человек. В одном из корпусов на верхнем этаже изначально находилась пятиглавая церковь Святого Александра Невского. В ноябре 1918 года тюремный храм был закрыт, с его куполов были демонтированы кресты, помещение стало использоваться как клуб. В январе 2004 года купола храма вновь обрели утраченные некогда кресты.