Dzimis mācītāja ģimenē. Armijā no 1915. gada. Pēc StaļinaLielā terora, kad tika represēta liela daļa no PSRS armijas augstākajiem virsniekiem, 1937. gadā sāka dienestu Ģenerālštābā. No 1942. gada 26. jūnija līdz 1945. gada februārim bija PSRS Bruņoto spēku Ģenerālštāba priekšnieks un plānoja gandrīz visas būtiskās Sarkanās armijas operācijas Otrā pasaules kara laikā, sākot no pretuzbrukuma Staļingradas kaujas laikā līdz Austrumprūsijas ieņemšanai. Vadīja arī padomju Mandžūrijas operāciju pret Japānu. Pēc kara bija Ģenerālštāba priekšnieks no 1946. gada 22. marta līdz 1948. gada novembrim un PSRS Aizsardzības ministrs no 1949. līdz 1953. gadam. Pensijā pēc Ņiktas Hruščova nākšanas pie varas. Apglabāts Maskavas Kremļa sienā.