Pada akhir abad ke-15 M ada seseorang ditempatkan oleh Kerajaan Demak, dikenal sebagai Pangeran Made Pandan (Sunan Pandanaran I), untuk menyebarkan agama Islam dari perbukitan Pragota. Dari waktu ke waktu daerah itu semakin subur, dari sela-sela kesuburan itu muncullah pohon asam yang arang (bahasa Jawa: Asem Arang), sehingga memberikan gelar atau nama daerah itu menjadi Semarang.
Sebagai pendiri desa, kemudian menjadi kepala daerah setempat, dengan gelar Kyai Ageng Pandan Arang I. Sepeninggalnya, pimpinan daerah dipegang oleh putranya yang bergelar Pandan Arang II (kelak disebut sebagai Sunan Bayat atau Sunan Pandanaran II atau Sunan Pandanaran Bayat atau Ki Ageng Pandanaran atau Sunan Pandanaran saja). Di bawah pimpinan Pandan Arang II, daerah Semarang semakin menunjukkan pertumbuhannya yang meningkat, sehingga menarik perhatian Sultan Hadiwijaya dari Pajang. Karena persyaratan peningkatan daerah dapat dipenuhi, maka diputuskan untuk menjadikan Semarang setingkat dengan Kabupaten. Pada tanggal 2 Mei 1547 bertepatan dengan peringatan maulid Nabi Muhammad SAW, tanggal 12 rabiul awal tahun 954 H disahkan oleh Sultan Hadiwijaya setelah berkonsultasi dengan Sunan Kalijaga. Tanggal 2 Mei kemudian ditetapkan sebagai hari jadi kota Semarang.
Kemudian pada tahun 1678 Amangkurat II dari Mataram, berjanji kepada VOC untuk memberikan Semarang sebagai pembayaran hutangnya, dia mengklaim daerah Priangan dan pajak dari pelabuhan pesisir sampai hutangnya lunas. Pada tahun 1705 Susuhunan Pakubuwono I menyerahkan Semarang kepada VOC sebagai bagian dari perjanjiannya karena telah dibantu untuk merebut Kartasura. Sejak saat itu Semarang resmi menjadi kota milik VOC dan kemudian Pemerintah Hindia Belanda.
Pada tahun 1906 dengan Stanblat Nomor 120 tahun 1906 dibentuklah Pemerintah Gemeente. Pemerintah kota besar ini dikepalai oleh seorang Burgemeester (Wali kota). Sistem Pemerintahan ini dipegang oleh orang-orang Belanda berakhir pada tahun 1942 dengan datangya pemerintahan pendudukan Jepang.
Pada masa Jepang terbentuklah pemerintah daerah Semarang yang dikepalai Militer (Shico) dari Jepang. Didampingi oleh dua orang wakil (Fuku Shico) yang masing-masing dari Jepang dan seorang bangsa Indonesia. Tidak lama sesudah kemerdekaan, yaitu tanggal 15 sampai 20 Oktober 1945 terjadilah peristiwa kepahlawanan pemuda-pemuda Semarang yang bertempur melawan balatentara Jepang yang bersikeras tidak bersedia menyerahkan diri kepada Pasukan Republik. Perjuangan ini dikenal dengan nama Pertempuran Lima Hari Semarang.
Tahun 1946 Inggris atas nama Sekutu menyerahkan kota Semarang kepada pihak Belanda. Ini terjadi pada tanggal l6 Mei 1946. Tanggal 3 Juni 1946 dengan tipu muslihatnya, pihak Belanda menangkap Mr. Imam Sudjahri, wali kota Semarang sebelum proklamasi kemerdekaan. Selama masa pendudukan Belanda tidak ada pemerintahan daerah kota Semarang. Namun para pejuang di bidang pemerintahan tetap menjalankan pemerintahan di daerah pedalaman atau daerah pengungsian di luar kota sampai dengan bulan Desember 1948. daerah pengungsian berpindah-pindah mulai dari kota Purwodadi, Gubug, Kedungjati, Salatiga, dan akhirnya di Yogyakarta. Pimpinan pemerintahan berturut-turut dipegang oleh R Patah, R.Prawotosudibyo dan Mr Ichsan. Pemerintahan pendudukan Belanda yang dikenal dengan Recomba berusaha membentuk kembali pemerintahan Gemeente seperti pada masa kolonial dulu di bawah pimpinan R Slamet Tirtosubroto. Hal itu tidak berhasil, karena dalam masa pemulihan kedaulatan harus menyerahkan kepada Komandan KMKB Semarang pada bulan Februari 1950. tanggal I April 1950 Mayor Suhardi, Komandan KMKB. menyerahkan kepemimpinan pemerintah daerah Semarang kepada Mr Koesoedibyono, seorang pegawai tinggi Kementerian Dalam Negeri di Yogyakarta. Ia menyusun kembali aparat pemerintahan guna memperlancar jalannya pemerintahan.
