Menurut sejarahnya, pempek telah ada di Palembang sejak masuknya perantau Cina ke Palembang, yaitu di sekitar abad ke-16, saat Sultan Mahmud Badaruddin II berkuasa di kesultanan Palembang-Darussalam. Nama empek-empek atau pempek diyakini berasal dari sebutan "apek", yaitu sebutan untuk lelaki tua keturunan Cina sedangkan "koh", yaitu sebutan untuk lelaki muda keturunan Cina.

Berdasarkan cerita rakyat, sekitar tahun 1617 seorang apek berusia 65 tahun yang tinggal di daerah Perakitan (tepian Sungai Musi) merasa prihatin menyaksikan tangkapan ikan yang berlimpah di Sungai Musi yang belum seluruhnya dimanfaatkan dengan baik, hanya sebatas digoreng dan dipindang. Ia kemudian mencoba alternatif pengolahan lain. Ia mencampur daging ikan giling dengan tepung tapioka, sehingga dihasilkan makanan baru. Makanan baru tersebut dijajakan oleh para apek dengan bersepeda keliling kota. Oleh karena penjualnya dipanggil dengan sebutan "pek … apek", maka makanan tersebut akhirnya dikenal sebagai empek-empek atau pempek.[1]

Namun cerita rakyat ini patut ditelaah lebih lanjut karena singkong baru diperkenalkan bangsa Portugis ke Indonesia pada abad 16. Selain itu velocipede (sepeda) baru dikenal di Perancis dan Jerman pada abad 18. Selain itu Sultan Mahmud Badaruddin baru lahir tahun 1767. Juga singkong sebagai bahan baku sagu baru dikenal pada zaman penjajahan Portugis dan baru dibudidayakan secara komersial tahun 1810. Walaupun begitu sangat mungkin pempek merupakan adaptasi dari makanan Cina seperti baso ikan, kekian ataupun ngohyang.

Pada awalnya pempek dibuat dari ikan belida. Namun, dengan semakin langka dan mahalnya harga ikan belida, ikan tersebut diganti dengan ikan gabus yang harganya lebih murah, tetapi dengan rasa yang tetap gurih.

Pada perkembangan selanjutnya, digunakan juga jenis ikan sungai lainnya, misalnya ikan putak, toman, dan bujuk. Dipakai juga jenis ikan laut seperti Tenggiri, Kakap Merah, parang-parang, ekor kuning, dan ikan sebelah. Juga sudah ada yang menggunakan ikan dencis , ikan lele serta ikan tuna putih.