Menurut sejarahnya, pempek telah ada di Palembang sejak masuknya perantau Cina ke Palembang, yaitu di sekitar abad ke-16, saat Sultan Mahmud Badaruddin II berkuasa di kesultanan Palembang-Darussalam. Nama pempek atau empek-empek diyakini berasal dari sebutan "apek", yaitu sebutan untuk lelaki tua keturunan Cina.
Berdasar cerita rakyat, sekitar tahun 1617 seorang apek berusia 65 tahun yang tinggal di daerah Perakitan (tepian Sungai Musi) merasa prihatin menyaksikan tangkapan ikan yang berlimpah di Sungai Musi. Hasil tangkapan itu belum seluruhnya dimanfaatkan dengan baik, hanya sebatas digoreng dan dipindang. Si apek kemudian mencoba alternatif pengolahan lain. Ia mencampur daging ikan giling dengan tepung tapioka, sehingga dihasilkan makanan baru. Makanan baru tersebut dijajakan oleh para apek dengan bersepeda keliling kota. Oleh karena penjualnya dipanggil dengan sebutan "pek … apek", maka makanan tersebut akhirnya dikenal sebagai pempek atau empek-empek.
Pada awalnya pempek dibuat dari ikan belida. Namun, dengan semakin langka dan mahalnya harga ikan belida, ikan tersebut diganti dengan ikan gabus yang harganya lebih murah, tetapi dengan rasa yang tetap gurih.Pada perkembangan selanjutnya, digunakan juga jenis ikan sungai lainnya, misalnya ikan putak, toman, dan bujuk. Dipakai juga jenis ikan laut seperti Tenggiri, Kakap Merah, parang-parang, ekor kuning, dan ikan sebelah.
