Начало постройки Всехсвятской церкви на Старом кладбище Таганрога датируется 1810 годом. Стройка длилась долго, лишь в 1824 году храм был освящён и стал действовать в качестве приписного к Таганрогскому Успенскому собору, и ещё в 1826 году вдовствующая императрица Елизавета Алексеевна пожертвовала тысячу рублей на построение церкви Всех святых. Первым старостой церкви ещё во время её стройки был купец Герасим Фёдорович Депальдо, который пожертвовал на окончание строительства кладбищенского храма 10000 рублей.
В 1837 году церковь была перестроена. В 1860 году церковь пришла в ветхость и тогдашний староста Григорий Николаевич Шевченко задумал ремонт и расширение храма с сооружением колокольни. Разрешение Синода пришло в 1862 году и наблюдение за работой, ведшейся по составленному в Петербурге плану, было поручено городскому архитектору Фирсову. Главными жертвователями на переделку был Илья Дмитриевич Алфераки, на средства которого содержалась и школа при кладбищенской церкви. До наших дней сохранился скромный памятник над могилой его жены Марии Фёдоровны Алфераки с правой стороны от главного входа в храм. В 1862 же году впервые сюда назначен штатный священник Павел Афанасьевич Дмитревский, прослуживший в храме до 1867 г.
В мае 1894 года был установлен новый оригинальный иконостас, целиком состоящий из мозаичного разноцветного стекла, фарфора и эмали, за исключением только золочёных царских врат и боковых дверей.
В сентябре 1910 года при кладбищенской церкви состоялось открытие и освящение церковно-приходской школы. Располагалась она по левой стороне переулка против главного входа на кладбище, и содержалась за счёт средств семьи Алфераки. Здание сохранялось на начало XXI века по адресу пер. Смирновский, 121.
В подземелье Всехсвятского храма (крипте), в каменных опорах, поддерживающих свод, имеется несколько малоизвестных захоронений. На одной из мраморных плит имеется надпись «Здесь покоится прах Льва Яковлевича Кульчицкого. Родился в 1813 г. — скончался в 1873 г. » Контр-адмирал Кульчицкий являлся тринадцатым градоначальником г. Таганрога с 1868 по 1873 год. В мае 1894 года в церкви установили новый иконостас, весь мозаичный, состоящий из разноцветного стекла, фарфора и эмали, своей оригинальностью во многом отличающийся от иконостасов остальных таганрогских церквей.
В 1922 году новые большевистские власти реквизировали всю церковную утварь. Забрали 38 икон с серебряными окладами, шестнадцать серебряных лампадок, четыре креста и четыре броши, все из золота. В конце 1920-х годов церковь была закрыта. Но во время немецкой оккупации Пелагея Емельяновна Толкачёва, до недавнего времени выполнявшая обязанности старосты, посетила местное гестапо на Петровской улице и добилась распоряжения, чтобы церковь сохранили действующей.
После Второй мировой войны церковь оставалась открытой. Таким образом, храм стал единственным из дореволюционных культовых сооружений города, сохранившимся в изначальном виде и не разрушенным в советское время.
Тщанием прихода в середине 1990-х годов была возрождена поблизости от храма часовня на могиле праведного Павла Таганрогского.