Durante el período Kamakura, Sabo Tokitsuna, el sexto hijo de Sasaki Sadatsuna, construyó un fuerte en el monte Sawayama. Este fuerte ocupaba una posición estratégicamente importante porque permitía controlar el tráfico a lo largo de la importante ruta Tōsandō, que más tarde sería conocida como Nakasendō. Este camino conectaba la capital, Kioto, con las regiones orientales del país. Debido a su ubicación, la fortificación tenía una gran importancia militar y durante los períodos de guerras civiles se convirtió repetidamente en el escenario de intensos combates.
Se cree que las primeras estructuras en este lugar fueron construidas por Tachibana Akitoshi (?-1568), jefe del clan Tachibana, una rama del clan Ōtomo, como fortificaciones auxiliares del Castillo de Tachibanayama. En 1587, Toyotomi Hideyoshi estableció el control sobre la isla de Kyushu y concedió la provincia de Chikuzen a Kobayakawa Takakage, uno de los principales vasallos del clan Mori. Takakage inició la construcción de un nuevo castillo en el emplazamiento de las fortificaciones existentes en 1588. La fecha exacta de finalización es desconocida, pero para el inicio de la invasión de Corea en 1592 el castillo ya estaba terminado, ya que los registros indican que Toyotomi Hideyoshi pasó allí la noche de camino al Castillo de Hizen Nagoya, que servía como cuartel general de las fuerzas invasoras.
El fundador del castillo es considerado Satake Yoshinobu (1570–1633). Yoshinobu fue uno de los seis grandes generales de Toyotomi Hideyoshi. Durante la campaña de Odawara de 1590 participó en el asedio del castillo de Oshi bajo el mando de Ishida Mitsunari, con quien mantuvo buenas relaciones.
El castillo de Kawanoe está situado en la pequeña colina Wasi-yama, cerca de la zona portuaria del distrito de Kawanoe en la ciudad de Shikokuchuo, ocupando una posición central en la costa norte de la isla de Shikoku. Kawanoe también era conocido como el castillo Butsuden. El término «butsuden» en Japón se refiere a las salas de templo, por lo que se cree que anteriormente existió allí un templo budista antes de la construcción del castillo. Debido a su ubicación en la unión de cuatro provincias de la isla de Shikoku, Kawanoe tenía una gran importancia estratégica y fue repetidamente objetivo de fuerzas rivales que buscaban el control militar de la región.
El fundador del castillo es considerado el clan Onodera. Los Onodera eran originalmente un clan menor de la provincia de Shimotsuke Province y servían a Minamoto no Yoritomo (1147–1199), fundador del primer shogunato. Se distinguieron en la lucha contra el clan Fujiwara de la rama de Ōshū y recibieron como recompensa tierras alrededor de Yokote. Hacia el siglo XIV se trasladaron definitivamente a Yokote. Su fortaleza inicial fue el castillo de Numadate, pero tras una serie de enfrentamientos con el poderoso clan Nambu, trasladaron su base al emplazamiento del actual castillo de Yokote. Probablemente en ese período surgieron las primeras fortificaciones.
El Castillo de Wakayama fue construido en 1585, cuando Toyotomi Hideyoshi ordenó a su hermano uterino, Hashiba (Toyotomi) Hidenaga, levantar un castillo en el lugar del recientemente conquistado Castillo de Ota. El objetivo de esta construcción era asegurar el control de la provincia de Kii, también conquistada recientemente. Siguiendo una tradición ya establecida, Hidenaga confió el proyecto a su experto en construcción de castillos, Todo Takatora. Takatora inspeccionó cuidadosamente el lugar del futuro castillo, dibujó personalmente varios diseños, creó un modelo del castillo proyectado y participó en los trabajos de delimitación del terreno (nawabari). Para la construcción reclutó a más de 10.000 trabajadores y completó el proyecto a gran escala en tan solo un año, lo cual se consideraba extremadamente rápido para la época.
