Der Bau der Burg Iga Ueno begann 1585 unter dem Kommando des Kriegers Takigawa Katsutoshi, obwohl er ein Jahr später von seinem Land enteignet werden sollte, und so wurden die meisten der inneren Zitadelle, der Honmaru, und der Donmaru, vom neuen Herrn, der von Toyotomi Hideyoshi ernannt wurde, fertiggestellt. Tsutsui Sadatsugu (1562-1615).

1608 wurde Tsutsui der schlechten Regierungsführung beschuldigt und sein Clan wurde vom Tokugawa Shogun abgeschafft. An seiner Stelle installierte die Tokugawa den Krieger Todo Takatora (1556-1630) einen Daimyo, der als einer der besten Burgarchitekten der Sengoku- oder Kriegsstaaten-Zeit anerkannt wurde, mit mindestens 20 Schlösser zu seiner Anerkennung.

Takatora baute die Honmaru-Innenvorburg wieder auf und erhöhte die Höhe der Steinmauer auf einen Rekord von 27 Metern, was sie damals die höchste in Japan machte. Die elegante weiße Burg, hoch auf seinen Steinmauern stand, war auch als Hakuho oder Burg „White Phoenix“ bekannt, da es dem mythischen Vogel ähnelt, der im Grün an seiner Basis nistet.

Leider wurde der Hauptturm der Burg 1612 beim Wiederaufbau eines Taifun zerstört und aufgrund von Tokugawa Gesetze über den Bau und die Wartung von Burg und die Tatsache, dass Ieyasu ungeduldig war, Osaka angreifen und den Toyotomi-Clan auslöschen zu wollen, wurde der Tenshu nie wieder aufgebaut, nicht bis 1935.

1935 wurde der fünfstöckige Donjon von einem lokalen Geschäftsmann nicht aus Beton, sondern aus Holz neu gebaut. Die Burg bleibt ein schönes Beispiel für die Burgarchitektur der Momoyama Period (16. Jahrhundert) und wurde 1980 im Kurosawa Akira-Regie-Film Kagemusha verwendet. Es wird angenommen, dass der Schriftsteller Ian Flemming, Autor der 007 James Bond-Serie, Iga Ueno tatsächlich in seinem Buch “Du lebst nur zwei Mal” beschrieb, aber die Filmadaption ersetzt stattdessen Himeji Castle. Es macht mehr Sinn, … Laut Buch sollte Bond in eine unbekannte, fast geheime Burg geschickt werden, in der Ninja ausgebildet werden, angeblich nördlich von Tokio…

Das Schloss beherbergt jetzt ein Museum, das eine gute Auswahl an Samurai-Waffen und Rüstungen, Schriftrollen, Kunstwerken und Artefakten aus der ganzen Region enthält. Von der Spitze des Schlosses kann man über die Stadt Iga Ueno sehen.

Die Burg Iga Ueno ist ein sehr geliebtes Symbol der Stadt und Burg und Gelände sind jetzt als nationale historische Stätte registriert. Das Bauernhaus und das Museum von Ninja sind in der Nähe, ebenso ein seltsam geformter Tempel und ein Museum, das dem wandernden Dichter und mutmaßlichen Ninja Matsuo Basho gewidmet ist.