Bis 1890 war die politische Abteilung des Auswärtigen Amtes, Dezernat für die deutschen überseeischen Interessen, für die deutsche Kolonialpolitik zuständig. Ab diesem Zeitpunkt gab es eine eigene Kolonialabteilung, die zwar im Auswärtigen Amt angesiedelt, aber direkt dem Reichskanzler unterstellt war. Ab 1896 beherbergte die Abteilung auch das Kommando über die Schutztruppen, das bis dahin beim Reichsmarineamt angesiedelt gewesen war (ab 1897 „Kommando der Schutztruppen“). Mit einem Erlass vom 17. Mai 1907 wurde das Reichskolonialamt gebildet. Dabei handelte es sich in erster Linie um eine verwaltungstechnische Veränderung: Die Kolonialabteilung wurde weitgehend unverändert in eine eigenständige Behörde umgewandelt.

Das Reichskolonialamt war direkt dem Reichskanzler unterstellt. An der Spitze der Behörde standen ein Staatssekretär und ein Unterstaatssekretär.

Das Reichskolonialamt verfügte über vier Abteilungen. Abteilung A befasste sich mit politischen und allgemeinen Verwaltungsangelegenheiten, Abteilung B bearbeitete Finanz-, Verkehrs- und technische Aufgaben und Abteilung C war für Personalfragen zuständig. Als vierte Abteilung fungierte das Kommando der Schutztruppen. Das Kommando der Schutztruppen (in der Literatur vielfach fälschlich als Oberkommando bezeichnet) war die zentrale Militär-Verwaltungsbehörde der deutschen Kaiserlichen Schutztruppe. Die amtliche Bezeichnung ist irreführend, da der Behörde keinerlei tatsächliche Führungsfunktionen zustand. Die militärische Befehlsgewalt lag bei den Gouverneuren der jeweiligen deutschen Kolonie.

Für Kassenangelegenheiten des Reichskolonialamts im engeren Sinne gab es eine „Kolonialhauptkasse“.

Als Beratungsgremium fungierte zunächst der Kolonialrat, der aber 1908 aufgelöst und durch Fachkommissionen mit Sachverständigen ersetzt wurde. Für wissenschaftliche, insbesondere geographische Aufgaben existierte einige Jahre vor der Auflösung des Amtes eine „Landeskundliche Kommission“. 1911 wurde zudem eine „Ständige Wirtschaftliche Kommission“ gebildet. Im Deutschen Landwirtschaftsrat und in der Deutschen Landwirtschaftsgesellschaft gab es darüber hinaus Kommissionen, die eigens zur Beratung des Reichskolonialamts gebildet wurden. Angesiedelt war die Behörde in der Wilhelmstraße 62 in Berlin-Mitte. Die erhaltenen Akten des Reichskolonialamts liegen im Bundesarchiv, Außenstelle Berlin-Lichterfelde.