История района уходит корнями в XIX век. После отмены Указа 1714 года в России началось массовое каменное строительство. Помимо церквей возводили гражданские сооружения (здания Гостиного двора, Городской думы, Водонасосной станции). Позже строили купеческие особняки, образовательные и социальные учреждения (Александровское реальное училище, Городская богадельня) и другие объекты. Поначалу обитателями Сараев были наемные рабочие кирпичных заводов. Позже тут селились бродяги, нищие и беглые преступники. К концу XIX века в Сараях насчитывалось примерно две тысячи жителей. Городские власти неоднократно пытались наводить порядок в Сараях, устраивали облавы, но часто безуспешно. За период с 1897-го по 1904 годы Копыловские и Угрюмовские кирпичные сараи разрослись по площади и населению. В районе не было школ, но работало два кабака.