Setelah benteng diduduki Belanda, struktur dan desainnya mulai dirombak. Ditambahkan lima bastion di sisi timur dan sisi barat. Karena bentuknya seperti kura-kura, warga lokal menyebutnya sebagai Benteng Panyyua.
Pada masa pemerintahan kolonial Belanda Benteng Ujungpandang berfungsi sebagai markas komando pertahanan, pusat perdagangan, pusat pemerintahan, dan permukiman pejabat-pejabat Belanda temasuk tahanan bagi para penentang Belanda. Pangeran Diponegoro adalah salah satu pahlawan Indonesia yang diasingkan di dalam Benteng Ujungpandang pada 1834-1855.
Salah satu bangunan dalam kompleks Benteng Fort Rotterdam itu kini dijadikan Museum La Galigo yang dikelola Pemerintah Provinsi Sulawesi Selatan sejak 1970. Museum itu memiliki 4.567 koleksi dengan koleksi terbanyak adalah etnografika, numismatika, dan heraldik.
