Nama kota ini berasal dari "Padang na dimpu", dalam Bahasa Batak Angkola; padang artinya hamparan atau kawasan luas, na artinya yang, dan dimpu artinya tinggi, sehingga dapat diartikan "hamparan yang luas yang berada di tempat yang tinggi." Pada zaman dahulu daerah ini merupakan tempat persinggahan para pedagang dari berbagai daerah, pedagang ikan dan garam dari Sibolga–Padangsidimpuan–Panyabungan, Padang Bolak (Padang Lawas Utara)–Padangsidimpuan–Sibolga.^[8]

Kota Padangsidimpuan Tertulis di dalam Sejarah sejak adanya Perang Padri yang terjadi di Sumatera Barat, yang Ketika itu, salah satu Pimpinan Pasukan Perang Paderi yang Dipimpin Oleh Tuanku Imam Lelo Membangun kawasan Benteng yang kelak menjadi cikal Berdirinya Kota ini. Pada zaman Kolonial Hindia Belanda, Kota Padangsidimpuan pernah ditetapkan sebagai Ibukota Keresidenan Tapanuli, (1883-1906), Sebelum dipindahkan ke Kota Sibolga. dan seiring dengan perkembangan kota ini, Pemerintah Kolonial Belanda melalui Peraturan Staatsblad No.563/1937, Menaikkan status Padangsidimpuan menjadi Setingkat kota. dan pembagian Administratif kota pada saat itu dibagi menjadi 6 Wek (Wijk), yakni Wek I (Kampung Marancar), Wek II (Pasar Julu), Wek III (Kampung Teleng), Wek IV (Kampung Jawa dan Kantin), Wek V (Pasar Siborang dan Sitamiang), dan Wek VI (Kampung Darek).

Sehingga, Kota ini semakin berkembang dan menjadi pusat Perekonomian di Kawasan Tapanuli, seiring dengan berkembangnya industri perkebunan seperti Karet dan Kopi, dan juga Sektor perdagangan, Seperti Perdagangan Garam (Sira), Ikan dan Komoditas lainnya yang berasal dari Daerah Sekitarnya.

Melalui UU No.10 tahun 1948, Provinsi Sumatera Utara mencakup tiga Wilayah Keresidenan, yaitu Keresidenan Aceh, Keresidenan Sumatra Timur, dan Keresidenan Tapanuli, dan melalui UU Darurat No.7 tahun 1956, Kabupaten Padangsidimpuan, diubah Menjadi Kabupaten Tapanuli Selatan yang wilayahnya bekas Afdeling Padangsidimpuan yang Berkedudukan di Kecamatan Padangsidimpuan.

Seiring dengan Perkembangannya, Kota ini Menjadi Sangat Ramai dan juga menjadi Kota yang cukup dikenal pada dekade 1970-an, yang berawal dari tumbuhnya Komoditas Buah salak yang menjadi andalan Perekonomian bagi masyarakat di kota ini, dan bahkan jauh dari perkembangan sebelumnya. Sehingga Status Kota ini Dinaikkan Menjadi Kota administratif melalui Peraturan Pemerintah No. 32 Tahun 1982. dan Menjadi Kota Melalui UU. No. 4 Tahun 2001 yang Disahkan Oleh Menteri Dalam Negeri, Hari Sabarno.