Nasution dilahirkan di Desa Hutapungkut, Kotanopan, Kabupaten Mandailing Natal, Sumatera Utara, dari keluarga Batak Muslim. Ia adalah anak kedua dan juga merupakan putra tertua dalam keluarganya. Ayahnya adalah seorang pedagang yang menjual tekstil, karet dan kopi, dan merupakan anggota dari organisasi Sarekat Islam. Ayahnya, yang sangat religius, ingin anaknya untuk belajar di sekolah agama, sementara ibunya ingin dia belajar kedokteran di Batavia. Namun, setelah lulus dari sekolah pada tahun 1932, Nasution menerima beasiswa untuk belajar mengajar di Bukit Tinggi.

Pada tahun 1935 Nasution pindah ke Bandung untuk melanjutkan studi, di sana ia tinggal selama tiga tahun. Keinginannya untuk menjadi guru secara bertahap memudar saat minatnya dalam politik tumbuh. Dia diam-diam membeli buku yang ditulis oleh Soekarno dan membacanya dengan teman-temannya. Setelah lulus pada tahun 1937, Nasution kembali ke Sumatera dan mengajar di Bengkulu, ia tinggal di dekat rumah pengasingan Soekarno. Dia kadang-kadang berbicara dengan Soekarno, dan mendengarnya berpidato. Setahun kemudian Nasution pindah ke Tanjung Raja, dekat Palembang, di mana ia melanjutkan mengajar, namun ia menjadi lebih dan lebih tertarik pada politik dan militer.

Pada tahun 1940, Jerman Nazi menduduki Belanda dan pemerintah kolonial Belanda membentuk korps perwira cadangan yang menerima orang Indonesia. Nasution kemudian bergabung, karena ini adalah satu-satunya cara untuk mendapatkan pelatihan militer. Seiring dengan beberapa orang Indonesia lainnya, ia dikirim ke Akademi Militer Bandung untuk pelatihan. Pada bulan September 1940 ia dipromosikan menjadi kopral, tiga bulan kemudian menjadi sersan. Dia kemudian menjadi seorang perwira di Koninklijk Nederlands-Indische Leger (KNIL). Pada tahun 1942 Jepang menyerbu dan menduduki Indonesia. Pada saat itu, Nasution di Surabaya, ia ditempatkan di sana untuk mempertahankan pelabuhan. Nasution kemudian menemukan jalan kembali ke Bandung dan bersembunyi, karena ia takut ditangkap oleh Jepang. Namun, ia kemudian membantu milisi PETA yang dibentuk oleh penjajah Jepang dengan membawa pesan, tetapi tidak benar-benar menjadi anggota.

Setelah Sukarno memproklamasikan kemerdekaan Indonesia pada 17 Agustus 1945, Nasution bergabung dengan militer Indonesia yang kemudian dikenal sebagai Tentara Keamanan Rakyat (TKR). Pada bulan Mei 1946, ia diangkat Panglima Regional Divisi Siliwangi, yang memelihara keamanan Jawa Barat. Dalam posisi ini, Nasution mengembangkan teori perang teritorial yang akan menjadi doktrin pertahanan Tentara Nasional Indonesia di masa depan.
Pada bulan Januari 1948, Pemerintah Indonesia dan Pemerintah Belanda menandatangani Perjanjian Renville, membagi Jawa antara daerah yang dikuasai Belanda dan Indonesia. Karena wilayah yang diduduki oleh Belanda termasuk Jawa Barat, Nasution dipaksa untuk memimpin Divisi Siliwangi menyeberang ke Jawa Tengah.

Pada 1948 Nasution naik ke posisi Wakil Panglima TKR. Meskipun hanya berpangkat Kolonel, penunjukan ini membuat Nasution menjadi orang paling kuat kedua di TKR, setelah Jenderal Soedirman. Nasution segera pergi untuk bekerja dalam peran barunya. Pada bulan April, ia membantu Soedirman mereorganisasi struktur pasukan. Pada bulan Juni, pada sebuah pertemuan, saran Nasution bahwa TKR harus melakukan perang gerilya melawan Belanda disetujui.

Meski bukanlah Panglima TKR, Nasution memperoleh pengalaman peran sebagai Panglima Angkatan Bersenjata pada bulan September 1948 saat Peristiwa Madiun. Kota Madiun di Jawa Timur diambil alih oleh mantan Perdana Menteri Amir Syarifuddin dan Musso dari Partai Komunis Indonesia (PKI). Setelah kabar itu sampai ke Markas TKR di Yogyakarta, diadakan pertemuan antara perwira militer senior. Soedirman sangat ingin menghindari kekerasan dan ingin negosiasi dilakukan. Soedirman kemudian menugaskan Letnan Kolonel Soeharto, untuk menegosiasikan kesepakatan dengan komunis. Setelah melakukan perjalanannya, Soeharto kembali ke Nasution dan Soedirman untuk melaporkan bahwa segala sesuatu tampak damai. Nasution tidak percaya laporan ini sementara Soedirman sedang sakit. Nasution sebagai Wakil Panglima kemudian memutuskan tindakan keras, mengirim pasukan untuk mengakhiri pemberontakan komunis di sana.
Pada 30 September, Madiun diambil alih oleh pasukan republik dari Divisi Siliwangi. Ribuan anggota partai komunis tewas dan 36.000 lainnya dipenjara. Di antara yang terbunuh adalah Musso pada 31 Oktober, diduga ia terbunuh ketika mencoba melarikan diri dari penjara. Pemimpin PKI lainnya seperti DN Aidit pergi ke pengasingan di Cina.

Pada 19 Desember 1948, Belanda melancarkan serangan sukses di Yogyakarta dan kemudian mendudukinya. Nasution, bersama-sama dengan TKR dan para komandan lainnya, mundur ke pedesaan untuk melawan dengan taktik perang gerilya. Presiden Soekarno dan Wakil Presiden Mohammad Hatta ditawan Belanda, Pemerintahan Darurat Republik Indonesia (PDRI) didirikan di Sumatera. Dalam pemerintahan sementara ini, Nasution diberikan posisi Komandan Angkatan Darat dan Teritorial Jawa. Setelah pengakuan Belanda atas kemerdekaan Indonesia, PDRI mngembalikan kekuasaan kepada Soekarno dan Hatta, dan Nasution kembali ke posisinya sebagai Wakil Panglima Soedirman.

Pada tahun 1950, Nasution mengambil posisinya sebagai Kepala Staf Angkatan Darat, dengan T.B. Simatupang menggantikan Soedirman yang telah meninggal dunia sebagai Kepala Staf Angkatan Perang.

Pada tahun 1952, Nasution dan Simatupang memutuskan untuk mengadopsi kebijakan restrukturisasi dan reorganisasi untuk ABRI. Dalam pengaturan ini, Nasution dan Simatupang berharap untuk menciptakan tentara yang lebih kecil tetapi yang lebih modern dan profesional.[14] Nasution dan Simatupang, yang keduanya telah dilatih oleh pemerintah kolonial Belanda ingin melepaskan para prajurit yang dilatih oleh Jepang dan mengintegrasikan lebih banyak tentara yang dilatih oleh Belanda. Pasukan yang dilatih oleh Jepang, yang dipimpin oleh Bambang Supeno, mulai berbicara menentang kebijakan ini.

Dalam mengadopsi kebijakan mereka, Nasution dan Simatupang mendapat dukungan dari Perdana Menteri Wilopo dan Menteri Pertahanan Hamengku Buwono IX. Namun, Supeno berhasil menemukan dukungan dari kalangan partai oposisi di Dewan Perwakilan Rakyat (DPR). Para anggota DPR kemudian mulai membuat perbedaan pendapat mereka tentang restrukturisasi ABRI. Nasution dan Simatupang tidak senang melihat apa yang mereka anggap sebagai campur tangan urusan militer oleh warga sipil.

Pada 17 Oktober 1952, Nasution dan Simatupang memobilisasi pasukan mereka dalam unjuk kekuatan. Memprotes campur tangan sipil dalam urusan militer, pasukan Nasution dan Simatupang mengelilingi Istana Kepresidenan dan mengarahkan moncong meriam ke Istana. Permintaan mereka ke Soekarno adalah mengajukan tuntutan pembubaran DPR. Untuk alasan ini, Nasution dan Simatupang juga memobilisasi demonstran sipil. Soekarno keluar dari Istana Kepresidenan dan meyakinkan baik tentara dan warga sipil untuk pulang. Nasution dan Simatupang telah dikalahkan.

Nasution dan Simatupang kemudian diperiksa oleh Jaksa Agung Suprapto. Pada bulan Desember 1952, mereka berdua kehilangan posisi mereka di ABRI dan diberhentikan dari ikatan dinas.

Ketika ia bukan lagi sebagai Kepala Staf Angkatan Darat, Nasution menulis sebuah buku berjudul Fundamentals of Guerrilla Warfare. Buku ini ditulis berdasarkan pengalaman Nasution sendiri yang berjuang dan mengorganisir perang gerilya selama Perang Kemerdekaan Indonesia. Awalnya buku ini dirilis pada tahun 1953, dan menjadi salah satu buku yang paling banyak dipelajari pada perang gerilya bersama dengan karya-karya Mao Zedong pada subyek yang sama.

Pada 27 Oktober 1955, setelah tiga tahun pengasingan, Nasution diangkat kembali ke posisi lamanya sebagai Kepala Staf Angkatan Darat. Dia segera mulai bekerja pada angkatan darat dan strukturnya dengan mengadopsi pendekatan tiga kali lipat.[15] Pendekatan pertama adalah untuk merumuskan sistem tur tugas, sehingga perwira bisa ditempatkan di seluruh negeri dan mendapatkan pengalaman. Pendekatan ini juga akan menghasilkan perwira militer yang lebih profesional, bukannya merasa ikatan pribadi dan loyalitas ke provinsi dan daerah dari mana mereka berasal. Pendekatan kedua Nasution adalah untuk memusatkan pelatihan militer. Semua metode pelatihan pasukan sekarang akan seragam, bukan komandan daerah yang menyiapkan metode pelatihan pasukan mereka sendiri. Pendekatan ketiga dan yang paling penting adalah untuk meningkatkan pengaruh militer dan kekuatan sehingga mampu mengurus dirinya sendiri, bukan mengandalkan keputusan sipil. Nasution tidak memiliki masalah menerapkan dua pendekatan pertama, tetapi ia harus menunggu untuk menerapkan pendekatan ketiga.

Pada 1957, Presiden Soekarno mulai memperkenalkan konsep Demokrasi Terpimpin untuk retorikanya dalam menanggapi kekecewaan dengan pendekatan Demokrasi Parlementer yang telah diadopsi Indonesia sejak November 1945. Dalam hal ini, ia menemukan ikatan yang sama dengan Nasution dan tentara, yang tidak lupa cara di mana warga sipil mengganggu urusan militer pada tahun 1952. Pada 14 Maret 1957, setelah menerima pengunduran diri Perdana Menteri Ali Sastroamidjojo dan kabinetnya, Soekarno mengumumkan keadaan darurat.

Langkah ini tidak hanya mengakhiri peran seremonial Soekarno sebagai presiden, tetapi juga meningkatkan pengaruh dan kekuasaan militer. Dalam pengaturan ini, panglima daerah mampu mencampuri urusan sipil seperti ekonomi dan masalah administrasi.[16] Atas perintah dari Soekarno sendiri, tentara juga mulai berpartisipasi dalam politik, mengisi posisi yang berkisar dari menteri kabinet hingga gubernur provinsi dan bahkan anggota DPR. Pada bulan Desember 1957, Nasution semakin meningkatkan peran tentara dengan memerintahkan para tentara untuk mengambil alih perusahaan-perusahaan Belanda yang baru dinasionalisasi. Selain meningkatkan peran tentara, langkah ini juga dirancang untuk menghentikan pengaruh PKI yang semakin kuat.

Pada tahun 1958, Nasution menyampaikan pidato terkenal yang akan menjadi dasar bagi doktrin Dwifungsi yang pada rezim Soeharto akan diadopsi. Berbicara di Magelang, Jawa Tengah, Nasution menyatakan bahwa ABRI harus mengadopsi "jalan tengah" dalam pendekatannya terhadap bangsa. Menurut Nasution, ABRI tidak harus di bawah kendali sipil. Pada saat yang sama, ABRI tidak boleh mendominasi bangsa dengan sedemikian rupa sehingga menjadi sebuah kediktatoran militer.[17]

Pada akhir 1956, ada tuntutan dari panglima daerah di Sumatera untuk otonomi yang lebih di provinsi-provinsi mereka. Ketika tuntutan ini tidak dipenuhi oleh pemerintah pusat, pasukan mulai memberontak, dan pada awal 1957, telah tegas mengambil alih pemerintahan di Sumatera. Kemudian, pada tanggal 15 Februari 1958, Letkol Ahmad Husein menyatakan pembentukan Pemerintahan Revolusioner Republik Indonesia (PRRI). Hal ini mendorong pemerintah pusat untuk menggelar pasukan.

Sebagai Kepala Staf Angkatan Darat, Nasution biasanya telah terlibat dalam memobilisasi pasukan ke Sumatera. Namun, kali ini Kolonel Ahmad Yani yang ditugaskan memimpin pasukan kesana dan berhasil menumpas pemberontakan.

Pada 5 Juli 1959, Soekarno mengeluarkan dekret yang menyatakan bahwa Indonesia sekarang akan kembali ke UUD 1945 yang asli. Sistem demokrasi parlementer akan berakhir dan Soekarno sekarang adalah Kepala Pemerintahan dan sekaligus Kepala Negara. Nasution diangkat menjadi Menteri Pertahanan dan Keamanan di Kabinet Soekarno, sambil terus memegang posisi sebagai Kepala Staf Angkatan Darat.

ebagai seorang tokoh militer, Nasution sangat dikenal sebagai ahli perang gerilya. Pak Nas demikian sebutannya dikenal juga sebagai penggagas dwifungsi ABRI. Orde Baru yang ikut didirikannya (walaupun ia hanya sesaat saja berperan di dalamnya) telah menafsirkan konsep dwifungsi itu ke dalam peran ganda militer yang sangat represif dan eksesif. Selain konsep dwifungsi ABRI, ia juga dikenal sebagai peletak dasar perang gerilya. Gagasan perang gerilya dituangkan dalam bukunya yang fenomenal, Fundamentals of Guerrilla Warfare. Selain diterjemahkan ke berbagai bahasa asing, karya itu menjadi buku wajib akademi militer di sejumlah negara, termasuk sekolah elite militer dunia, West Point, Amerika Serikat.

Tahun 1940, ketika Belanda membuka sekolah perwira cadangan bagi pemuda Indonesia, ia ikut mendaftar. Ia kemudian menjadi pembantu letnan di Surabaya. Pada 1942, ia mengalami pertempuran pertamanya saat melawan Jepang di Surabaya. Setelah kekalahan Jepang dalam Perang Dunia II, Nasution bersama para pemuda eks-PETA mendirikan Badan Keamanan Rakyat. Pada Maret 1946, ia diangkat menjadi Panglima Divisi III/Priangan. Mei 1946, ia dilantik Presiden Soekarno sebagai Panglima Divisi Siliwangi. Pada Februari 1948, ia menjadi Wakil Panglima Besar TNI (orang kedua setelah Jendral Soedirman). Sebulan kemudian jabatan "Wapangsar" dihapus dan ia ditunjuk menjadi Kepala Staf Operasi Markas Besar Angkatan Perang RI. Di penghujung tahun 1949, ia diangkat menjadi Kepala Staf TNI Angkatan Darat.

Akibat pertentangan internal di dalam Angkatan Darat maka ia menggalang kekuatan dan melawan pemerintahan yang terkenal dengan peristiwa 17 Oktober 1952. Akibat peristiwa ini Presiden Soekarno mencopotnya dari jabatan KASAD dan menggantinya dengan Bambang Sugeng. Setelah islah akhirnya pada November 1955 ia menjabat kembali posisinya sebagai KASAD. Tidak hanya itu, pada Desember 1955 ia pun diangkat menjadi Panglima Angkatan Perang Republik Indonesia.

Pada 5 Oktober 1997, bertepatan dengan hari ABRI, Nasution dianugerahi pangkat Jendral Besar bintang lima. Nasution tutup usia di RS Gatot Soebroto pada 6 September 2000 dan dimakamkan di TMP Kalibata, Jakarta.