Начало строительства Всехсвятской церкви на Старом кладбище Таганрога относится к 1810 году. Строительство длилось долго, и лишь в 1824 году храм был освящен, начав действовать как приписной к Таганрогскому Успенскому собору. В 1826 году вдовствующая императрица Елизавета Алексеевна пожертвовала тысячу рублей на завершение строительства Всехсвятской церкви. Первым старостой церкви, еще во время ее строительства, был купец Герасим Федорович Депальдо, который пожертвовал на окончание строительства кладбищенского храма 10 000 рублей.
В 1837 году церковь была перестроена. К 1860 году храм пришел в ветхость, и тогдашний староста Григорий Николаевич Шевченко задумал его ремонт и расширение с сооружением колокольни. Разрешение Святейшего Синода было получено в 1862 году, а наблюдение за работами, которые велись по проекту, составленному в Санкт-Петербурге, было поручено городскому архитектору Фирсову. Главным жертвователем перестройки стал Илья Дмитриевич Алфераки, на средства которого содержалась и школа при кладбищенской церкви. До наших дней сохранился скромный памятник над могилой его жены, Марии Федоровны Алфераки, расположенный справа от главного входа в храм.
В 1862 году в храм впервые был назначен штатный священник Павел Афанасьевич Дмитревский, который прослужил там до 1867 года.
В мае 1894 года в церкви был установлен новый уникальный иконостас. Он был выполнен целиком из мозаичного разноцветного стекла, фарфора и эмали, за исключением золоченых царских врат и боковых дверей. Этот иконостас отличался своей оригинальностью и был непохож на иконостасы других таганрогских храмов.
В сентябре 1910 года при кладбищенской церкви состоялось открытие и освящение церковно-приходской школы. Она располагалась по левой стороне переулка, напротив главного входа на кладбище, и содержалась на средства семьи Алфераки. Здание школы сохранялось до начала XXI века и находилось по адресу: переулок Смирновский, 121.
В подземелье Всехсвятского храма (крипте), в каменных опорах, поддерживающих своды, имеются несколько малоизвестных захоронений. На одной из мраморных плит выбита надпись: «Здесь покоится прах Льва Яковлевича Кульчицкого. Родился в 1813 г. — скончался в 1873 г.». Контр-адмирал Лев Яковлевич Кульчицкий был тринадцатым градоначальником Таганрога с 1868 по 1873 год.
В 1922 году новые большевистские власти реквизировали всю церковную утварь. Были изъяты 38 икон в серебряных окладах, шестнадцать серебряных лампад, четыре креста и четыре броши, изготовленные из золота. В конце 1920-х годов церковь была закрыта.
Во время немецкой оккупации, благодаря стараниям Пелагеи Емельяновны Толкачевой, которая ранее выполняла обязанности старосты, храм удалось сохранить. Она обратилась в местное гестапо, расположенное на улице Петровской, и добилась распоряжения, чтобы церковь оставили действующей.
После окончания Второй мировой войны храм оставался открытым. Всехсвятская церковь стала единственным дореволюционным культовым сооружением города, сохранившимся в первоначальном виде и не разрушенным в советское время.