Penggunaan timbal dan grafit sudah dimulai sejak zaman Yunani. Keduanya memberikan efek goresan abu-abu, walaupun grafit sedikit lebih hitam. Grafit sangat jarang dipakai hingga kemudian pada tahun 1564 ditemukan kandungan grafit murni dalam jumlah besar di Borrowdale, sebuah lembah di Lake District, Inggris bagian utara. Meskipun kelihatan seperti batu bara, mineral tersebut tidak dapat terbakar, dan meninggalkan bekas berwarna hitam mengilap, serta mudah dihapus di atas permukaan yang bisa ditulisi. Pada masa ini istilah grafit masih disalahartikan dengan timah, timah hitam, dan plumbago, artinya "seperti timah" mengingat sifatnya yang hampir sama. Karena itu istilah lead pencil (pensil timah) masih digunakan sampai sekarang. Karena teksturnya berminyak, bongkahan dibungkus dengan kulit domba atau potongan kecil timah berbentuktongkat dibebat dengan tali. Tidak seorang pun tahu siapa yang mula-mula mempunyai ide untuk memasukkan timah hitam ke dalam wadah kayu, tetapi pada tahun 1560-an, pensil yang primitif sudah sampai di benua Eropa.
Tak lama kemudian, timah hitam ditambang dan diekspor untuk memenuhi permintaan para seniman; dan pada abad ke-17, bisa dikatakan timah hitam telah digunakan di mana-mana. Pada waktu yang sama, para pembuat pensil bereksperimen dengan timah hitam untuk menghasilkan alat tulis yang lebih baik. Karena murni serta mudah diekstrak, timah hitam dari Borrowdale menjadi incaran pencuri dan pedagang gelap. Untuk mengatasinya, Parlemen Inggris mengeluarkan undang-undang pada tahun 1752 yang menetapkan bahwa pencuri timah hitam bisa dipenjarakan atau dibuang ke suatu koloni narapidana.
Namun pada tahun 1779, seorang ahli kimia Carl W. Scheele meneliti dan menyimpulkan bahwa grafit memiliki sifat kimiawi yang jauh berbeda dengan timbal. Grafit adalah komposisi molekul karbon murni yang lunak. Akhirnya pada tahun 1789, ahli Geologi Jerman, Abraham G. Werner memberikan nama grafit, yang berasal dari perkataan Yunani graphein, yang berarti menulis. Jadi, isi pensil bukan timah.

Selama bertahun-tahun, grafit Inggris memonopoli industri pembuatan pensil karena cukup murni untuk digunakan tanpa perlu diproses lagi. Karena grafit Eropa kurang bermutu, pabrik-pabrik pensil di sana bereksperimen dengan berbagai cara untuk memperbaiki isi pensil. Insinyur Prancis Nicolas-Jacques Conté mencampur bubuk grafit dengan tanah liat, membentuk campuran itu menjadi batang-batang, dan membakarnya dalam perapian. Dengan mengubah-ubah perbandingan grafit terhadap tanah liat, ia bisa membuat isi pensil yang menghasilkan berbagai gradasi warna hitam—proses yang digunakan sampai sekarang.
Pada abad ke-19, pembuatan pensil menjadi bisnis besar. Grafit ditemukan di beberapa tempat, termasuk Siberia, Jerman, dan yang sekarang disebut Republik Ceko. Di Jerman dan kemudian di Amerika Serikat, sejumlah pabrik dibuka. Mekanisasi dan produksi massal menekan harga, dan pada awal abad ke-20, bahkan anak-anak sekolah menggunakan pensil.
Awalnya pensil grafit diberi balutan kertas yang dirobek sesuai keinginan pemakainya. Namun kemudian ditemukan cara lebih praktis dan efisien dengan menyelimuti seluruh batang grafit dengan dua bilah kayu yang ditoreh untuk menyediakan tempat bagi batang grafit dan kemudian disatukan.


Rautan pensil sebagai pelengkap alat tulis


Peraut mekanis mempermudah pengguna saat meraut pensil
Grafit murni mungkin lebih disukai seniman karena karakteristiknya yang lebih lugas. Namun untuk penggunaan sehari-hari, diperlukan grafit yang berkualitas lebih rendah agar lebih fleksibel. Pada tahun 1795, ahli kimia Perancis, Nicolas Jacques Conté, menemukan cara mencampur grafit dengan tanah liat agar dihasilkan pensil yang lebih baik dan praktis. Salah satu produk turunannya adalah pensil Konte.
Pada 30 Maret 1858 Hymen Lipman dari Philadelphia, Pennsylvania, Amerika Serikat mematenkan pensil dengan ujung penghapus. Namun kemudian paten ini dibatalkan dengan alasan sebanenarnya tidak ada penemuan hal baru dari pensil tersebut. Peraut mekanik ditemukan pada tahun 1880 dan dengan cepat menjadi sangat populer.