Pada masa Raja Gowa ke-14, Mangarangi Daeng Manrabia Sultan Alauddin Tumenanggari Guakanna memperkuat struktur dinding dengan susunan bata dan batu yang dibentuk persegi empat. Bangunan dalam benteng pada awalnya terdiri atas rumah-rumah panggung bertiang kayu, berdinding bambu dengan atap daun nipah yang ditempati prajurit dan bangsawan Kerajaan Gowa. Pada masa pemerintahan Sultan Hasanuddin, benteng itu dijadikan pusat persiapan perang menghadapi tentara Belanda.
Sayangnya, Belanda dapat menaklukkan Kerajaan Gowa melalui perang Makassar pada 1667. Penaklukan itu kemudian dikukuhkan dengan Perjanjian Bungayya (Bongaish Verdag) dan sebagian benteng yang dimiliki Kerajaan Gowa dihancurkan kecuali untuk Benteng Somba Opu dan Benteng Ujungpandang. Benteng Ujungpandang itu kemudian dijuluki Fort Rotterdam Rotterdam merupakan suatu kota di Belanda yang menjadi tempat kelahiran Cornelis Speelman, panglima perang Belanda penakluk Kerajaan Gowa.
