Baden-Powell dilahirkan dengan nama Robert Stephenson Smyth Powell, atau lebih akrab dengan panggilan Stephe Powell, di Jalan Stanhope nomor 6 (sekarang Stanhope Terrace nomor 11) Paddington, London pada 22 Februari 1857.Dia diberi nama Robert Stephenson;[8] sedangkan Smyth adalah nama gadis dari ibunya. Ayahnya seorang Pendeta bernama Baden-Powell, seorang Savilian yang mengajar geometri di Universitas Oxford dan telah memiliki empat anak dari kedua pernikahan sebelumnya. Ayahnya meninggal ketika Stephe berusia tiga tahun, dan sebagai penghormatan kepadanya serta untuk mengatur anak-anaknya sendiri yang terpisah dari saudara dan sepupu, ibunya (Henrietta Grace Smyth) mengubah nama keluarga menjadi Baden-Powell. Selanjutnya, Stephe dibesarkan oleh ibunya, seorang wanita yang berketatapan bahwa anak-anaknya harus berhasil. Baden-Powell berkata tentang ibunya pada tahun 1933 Rahasia keberhasilan saya adalah ibu saya. Selepas bersekolah di Rose Hill School, Tunbridge Wells, Stephe dianugerahi beasiswa untuk sekolah di Charterhouse. Perkenalan pertamanya pada kecakapan kepanduan, yakni kecakapan memburu dan memasak hewan - dan menghindari guru - di hutan yang berdekatan, yang juga merupakan kawasan terlarang. Dia juga pandai bermain piano dan biola, mampu melukis dengan baik dengan menggunakan kedua belah tangannya serta gemar bermain peran (drama). Masa liburan banyak dihabiskannya dengan melakukan ekspedisi pelayaran atau bermain kano dengan saudara-saudaranya.

Pada tahun 1876, Baden-Powell bergabung dengan 13th Hussars di India. Pada tahun 1895 dia bertugas dengan dinas khusus di Afrika dan pulang ke India pada tahun 1897 untuk memimpin 5th Dragoon Guards.

Baden-Powell saling berlatih dan mengasah kemahiran kepanduannya dengan suku Zulu pada awal 1880-an di jajahan Natal Afrika Selatan di mana resimennya ditempatkan dan ia diberi penghargaan karena keberaniannya. Baden-Powell kembali ke Afrika Selatan sebelum Perang Boer dan terlibat dalam beberapa tindakan melawan Zulu. Dinaikkan pangkatnya pada masa Perang Boer menjadi kolonel termuda dalam dinas ketentaraan Britania, dia bertanggung jawab untuk organisasi pasukan perintis yang membantu tentara biasa. Ketika merencanakan hal ini, dia terperangkap dalam pengepungan Mafeking, dan dikelilingi oleh tentara Boer yang melebihi 8.000 orang. Walaupun berjumlah lebih kecil, garnisun itu berhasil bertahan dalam pengepungan selama 217 hari. Sebagian besar keberhasilan itu dikatakan sebagai hasil beberapa muslihat yang dilaksanakan atas perintah Baden-Powell sebagai komandan garnisun. Ranjau-ranjau palsu ditanam, dan tentaranya diperintah untuk menghindari pagar kawat olok-olok (tidak ada) saat bergerak antara parit kubu.