１８８４年６月１７日、東プロイセン・クルム生まれ。最終軍歴は陸軍上級大将。第一次大戦中は、陸軍参謀本部の一員として参加。敗戦後のベルサイユ条約による軍縮下でも陸軍に留まる。弱体化した軍をいかに建て直すかという課題の中で、グーデリアンは、イギリスのバジル・リデル・ハート大尉、J・F・C・フラー大佐の主張の影響を受ける。そして、戦車と自動車化された歩兵の部隊の編成が適していると考え、自らの戦術理論をまとめた「戦車戦学校」を著す。しかし、これは保守的な軍人達に受け入れられることはなかった。ところが、彼の戦術理論に大きな興味を示したのがアドルフ・ヒトラーであった。１９３７年の再軍備により新設された装甲部隊の指揮官に任命される。

第二次大戦開始時、対ポーランド戦においてグーデリアンは、第１９軍司令官として６個装甲師団を指揮。電撃的な早さでポーランドを攻略して自らの理論を立証した。
１９４０年の対フランス戦では、第１９装甲軍団を指揮し、連合軍をダンケルクまで追い詰め、大将に昇進した。

１９４１年６月２２日に開始された対ソ連進行作戦「バルバロッサ」においては、中央軍集団・第２装甲集団（後に、第２装甲軍）を指揮し、ミンスク包囲戦、スモレンスク包囲戦、キエフ包囲戦において大戦果を挙げる。その後、１１月にモスクワ攻略戦にも参加したが、冬将軍の到来で、作戦の中止をヒトラーに具申して、解任されている。

１９４３年スターリングラード戦の敗退後、再び復帰して参謀長になるが、ドイツ敗戦直前の１９４５年３月に再びヒトラーに罷免された

アメリカ軍の捕虜となったが、１９４８年６月に保釈後は、アメリカ陸軍機甲学校で講義を行ったり、回想録を執筆して余生を送った。