In Cape Coast bestand König Aggerey 1865 auf seiner Autorität und Unabhängigkeit gegenüber der britischen Kolonialmacht. Dieser ließ ihn verhaften und nach Sierra Leone deportieren. Das Colonial Office in London schätzte diese gewaltsame Lösung in Ghana keinesfalls. Auch Sir Arthur Kennedy in Freetown äusserte gegenüber seinem Minister: "Meine Erfahrungen an dieser Küste haben mich davon überzeugt, dass diese Leute mit Entgegenkommen erobert und geführt werden müssen, während harte Behandlung und Gewalt ergebnislos und kostspielig sind". Er überzeugte Aggerey davon, auf sein Amt und seinen Titel zu verzichten und ließ ihn 1869 als Privatmann nach Cape Coast zurückkehren.