Родился на хуторе Зимняцкий (ныне хутор Зимняцкий Зимняцкого сельского поселения Серафимовичского района Волгоградской области). Воспитанник детдома. Работал пионервожатым, учителем. В Красной Армии - с ноября 1929 года. Окончил командирские курсы при 84-м стрелковом полку 28-й горно-стрелковой дивизии Северо-Кавказского военного округа в 1930 году, заочно - Военную электротехническую академию РККА имени С.М. Будённого в 1936 году, ускоренный курс Военной академии имени М.В. Фрунзе в 1941 г.

С ноября 1929 года служил в 84-м стрелковом полку 28-й горнострелковой дивизии. Дважды в 1930 и в 1932 годах принимал участие в боевых действиях по подавлению антисоветских восстаний в Чечне и Ингушетии. С августа 1939 года - начальник 2-й части штаба 114-й стрелковой дивизии Забайкальского военного округа. В составе этой дивизии участвовал в боях на реке Халхин-Гол в 1939 году. В 1940 году стал командиром 60 отдельного лыжного батальона, сформированного в январе 1940 на станции Дивизионная в Улан-Удэ. Участник советско-финской войны. Командир 60-го отдельного добровольческого лыжного батальона (7 Армия, Северо-Западный фронт). капитан Дьяконов в марте 1940 отличился в боях за остров Туппурансари (ныне остров Вихревой) в Выборгском заливе. После 25-километрового ночного марша отряд Дьяконова вышел в тыл противника, захватил и удержал позиции на этом сильно укреплённом острове, что обеспечило выполнение боевой задачи 86-й мотострелковой дивизии. Бой длился 17 часов. Дьяконов был ранен, но остался в строю. В дальнейшем отряд перехватил автостраду Выборг-Хельсинки. Указом Президиума Верховного Совета СССР от 21 марта 1940 года капитану Дьяконову Анатолию Александровичу присвоено звание Героя Советского Союза.

С мая 1940 года А.А.Дьяконов был назначен командиром 380-го стрелкового полка Северо-Кавказского военного округа. В ноябре 1941 году окончил ускоренный курс Военной академии имени М.В.Фрунзе, откуда отправился на фронт. В ноябре 1941 года Дьяконов был назначен командиром 27-й отдельной стрелковой бригады, оборонявшей город Москву. В декабре 1941 года Дьяконов командовал 257-й стрелковой дивизией 3-й ударной армии Калининского, затем Северо-Западного фронта. Дивизия Дьяконова сыграла решающую роль в непосредственных боях за Великие Луки. А.А.Дьяконову после завершения Великолукской операции было 27 января 1943 года присвоено звание генерал-майора.

В апреле 1944 года генерал-майор А.А.Дьяконов был направлен на учебу в Высшую военную академию имени К.Е. Ворошилова, ускоренный курс которой он окончил в марте 1945 года и тогда же был назначен командиром 56-го стрелкового корпуса 16-й армии 2-го Дальневосточного фронта. Участвовал в войне с Японией. В сентябре 1945 года ему присвоено звание генерал-лейтенанта. Награжден двумя орденами Ленина, двумя орденами Суворова II степени, двумя орденами Кратного Знамени, «Красной Звезды».

В декабре 1949 года окончил полный курс Высшей военной академии имени К.Е. Ворошилова. С мая 1953 года - заместитель командующего ВДВ, с июня 1955 года - генерал-инспектор ВДВ Главной инспекции Министерства обороны СССР, с июля 1956 года - старший советник командующего и начальника штаба армии в Корейской Народной Армии, с февраля 1959 года - помощник командующего войсками Московского военного округа по ВУЗам. Похоронен в Москве на Введенском кладбище.

Герой Советского Союза

Орден Ленина

Орден Красного Знамени

Орден Красной Звезды

Юбилейная медаль «За доблестный труд (За воинскую доблесть). В ознаменование 100-летия со дня рождения Владимира Ильича Ленина»

Медаль «За оборону Москвы»

Медаль «За победу над Германией в Великой Отечественной войне 1941—1945 гг.»

Медаль «За победу над Японией»