Воспитанник тульского футбола. Выступал за юношеские сборные СССР, привлекался на сборы олимпийской сборной.

Бо́льшую часть карьеры провёл в ленинградском «Зените», в составе которого стал чемпионом СССР в 1984 году.

В 1985 году в кубковом матче против ЦСКА на стадионе им. Кирова получил сильное сотрясение мозга, из-за которого 7 месяцев мучался головными болями и собирался завершить выступления. Однако спустя некоторое время вновь вышел на поле.

В 1990-х годах выступал в Финляндии. В марте—октябре 1996 года играл в Китае за команду «Фушунь Фосиди» из провинции Гуанчжоу.

По возвращении в Россию по договоренности с Анатолием Бышовцем приступил к обязанностям тренера «Зенита». Давыдов думал, что игровую карьеру завершил. Однако на последнем сборе команды перед сезоном-1997 (в Бельгии) защитники команды почти разом получили травмы, из-за которых они не могли выйти на первые матчи. Бышовец предложил Давыдову продолжить выступления, и Анатолий приступил к тренировкам уже как игрок основного состава.

В итоге в 1997 году провёл в чемпионате 15 игр, в большинстве из которых играл вместе с сыномДмитрием. По окончании сезона окончательно завершил игровую карьеру.

Рекордсмен «Зенита» по числу сыгранных официальных матчей (456)[3] и по числу матчей в Кубке страны (63).