El primer gran proyecto de construcción del joven rey Luis II al subir al trono en 1864, fue la reconstrucción de Vorderhohenschwangau, el futuro castillo de Neuschwanstein. Después de Neuschwanstein, que estaba conceptualizado como el castillo ideal para el caballero medieval , siguieron Linderhof, un palacio de placer en estilo rococó y el Palacio de Herrenchiemsee, que representaba un monumento al absolutismo . Su interés en construir Neuschwanstein fue despertado por dos viajes: En mayo de 1867 visitó a su hermano Otto en el Castillo de Wartburg en Eisenach y en julio del mismo año visitó el Castillo de Piertefonds ,que había sido restaurado de por Eugène Viollet -le -Duc respetando su estilo histórico del edificio.En la apreciación del rey ambos castillos representaban una visión romántica de la Edad Media , al igual que las sagas musicales de Richard Wagner, cuyas óperas Tannhäuser y Lohengrin lo habían impresionado fuertemente.
Durante la Edad Media había en el desfiladero de Pöllat dos pequeños castillos . El primero consistía de un palacete románico y un torreón llamado Vorderhohenschwangau ("Frente a Hohenschwangau"). El segundo consistía de una torre fortificada con recámaras,llamado Hinterhohenschwangau("Detrás de Hohenschwangau"). El distrito de Schwangau, donde los dos castillos estaban localizados, era feudo de la familia Wittelsbach desde el siglo XV, y para el siglo XIX ambos estaban en ruinas. Los restos del Hinterhohenschwangau habían sido convertidos en un mirador .
Luis II de Baviera pasó parte de su niñez y juventud cerca de estas ruinas, en el Castillo de Hohenschwangau, que su padre Maximiliano II había transformado de un castillo medieval a un castillo residencial en el año 1837. El nombre original de Hohenschwangau era Schwanstein ("Piedra del cisne") y el nombre no cambió hasta el fin de la remodelación.El pequeño Luis visitó las ruinas de ambos castillos medievales varias veces y en 1859 pintó las ruinas delVorderhohenschwangau en su diario.
El 15 de mayo de 1868 le escribió a Wagner diciéndole que quería construir un castillo «al estilo auténtico de los antiguos castillos alemanes» sobre el desfiladero de Pöllat y que sería «más bello y acogedor que el castillo de abajo, el de Hohenschwangau».
