Sayangnya, Belanda dapat menaklukkan Kerajaan Gowa melalui perang Makassar pada 1667. Penaklukan itu kemudian dikukuhkan dengan Perjanjian Bungayya (Bongaish Verdag) dan sebagian benteng yang dimiliki Kerajaan Gowa dihancurkan kecuali untuk Benteng Somba Opu dan Benteng Ujungpandang. Benteng Ujungpandang itu kemudian dijuluki Fort Rotterdam Rotterdam merupakan suatu kota di Belanda yang menjadi tempat kelahiran Cornelis Speelman, panglima perang Belanda penakluk Kerajaan Gowa.
Setelah benteng diduduki Belanda, struktur dan desainnya mulai dirombak. Ditambahkan lima bastion di sisi timur dan sisi barat. Karena bentuknya seperti kura-kura, warga lokal menyebutnya sebagai Benteng Panyyua.
Pada masa pemerintahan kolonial Belanda Benteng Ujungpandang berfungsi sebagai markas komando pertahanan, pusat perdagangan, pusat pemerintahan, dan permukiman pejabat-pejabat Belanda temasuk tahanan bagi para penentang Belanda. Pangeran Diponegoro adalah salah satu pahlawan Indonesia yang diasingkan di dalam Benteng Ujungpandang pada 1834-1855.
Salah satu bangunan dalam kompleks Benteng Fort Rotterdam itu kini dijadikan Museum La Galigo yang dikelola Pemerintah Provinsi Sulawesi Selatan sejak 1970. Museum itu memiliki 4.567 koleksi dengan koleksi terbanyak adalah etnografika, numismatika, dan heraldik.
