Согласно археологическим исследованиям и раскопкам, территория Керманшаха была заселена доисторическими людьми начиная с периода раннего палеолита, свидетельства состоят из нескольких ручных топоров, найденных в районе Гакия к востоку от города. Артефакты раннего палеолита из провинции Керманшах датируются возрастом от 700 тыс. до 1 млн л. н. Специфическая грушевидная структура найденных топоров характерна для Homo erectus, а также для ассоциированного с этим видом гейдельбергского человека (Homo heidelbergensis).
Первые гончарные изделия, относящиеся к Ирану, были сделаны в Ганджи-Даре, недалеко от современного Харсина. В мае 2009 года, основываясь на исследованиях, проведённых Университетом Хамадана и UCL, руководитель Исследовательского центра археологии иранской Организации культурного наследия и туризма объявил, что одна из старейших доисторических деревень на Ближнем Востоке, датируемая 9800 годом до н. э., была обнаружена в Сахне, расположенном к западу от Керманшаха. Остатки более поздних деревенских занятий и раннего бронзового века найдены в ряде курганных стоянок в самом городе.
строительство города приписывается Тахмурасу, третьему царю Пишдадской династии. Считается, что Сасаниды построили Керманшах и Бахрам IV (его называли Керманшах, что означает царь Кермана) дал свое имя этому городу. Это был славный город в период Сасанидов примерно в 4 веке нашей эры, когда он стал столицей Второй Персидской империи и значительным центром здоровья, служившим летним курортом для сасанидских царей.
В 226 году нашей эры, после двухлетней войны, которую вел персидский император Ардашир I против курдских племен в регионе, империя восстановила местного курдского принца Каюса из Медии, чтобы править Керманшахом.
Керманшах был завоёван арабами в 640 году нашей эры. До 1038 года здесь правила местная династия Кухидов, которую сменила другая курдская династия — Анназиды, но 7 лет спустя город был захвачен турками-сельджуками. Под властью сельджуков в XI веке Керманшах стал крупным культурным и торговым центром в западном Иране и южных курдских населённых районах в целом.
Сефевиды укрепили город, а Каджары отразили нападение Османов во время правления Фатх Али Шаха (1797-1834). Керманшах был оккупирован османами между 1723-1729 и 1731-1732 годами.
В 1830-х годах в Керманшахе находился центр борьбы с суфизмом; духовный лидер города Ага Мухаммад Али Бехбехани казнил здесь суфийского лидера Масума Али Шаха.
Город был сильно поврежден во время Ирано–Иракской войны, и хотя он был восстановлен, он еще не полностью восстановился.