Несмотря на то что Германия начала войну против Польши, строительные работы в Гармиш-Партенкирхене продолжались еще не одну неделю. Судя по всему, Гитлер надеялся на скорейшее заключение мира с западными державами. После того как Польша пала под ударами германской армии, прибегнувшей к тактике «блицкрига», Гитлер немало поразил многих, когда 12 октября 1939 года выступил с предложением заключить мир. В первую очередь это предложение было адресовано западным странам, но оно было решительно отвергнуто. И только после этого строительство в Гармиш-Партенкирхене стало сворачиваться. К тому моменту на возведение новых спортивных объектов уже было потрачено более 4 миллионов рейхсмарок. Чтобы стройка не превратилась в разрушающийся долгострой, было принято решение пригнать в это баварское местечко 230 чешских рабочих. Их принудительный труд использовался для того, чтобы по возможности завершить некоторые из строенийизаконсервировать те, чье окончательное возведение не представлялось возможным. Если эти объекты немоглииспользоваться для Олимпиады, то это вовсе не значило, что они не имели никакого значения для национального спорта.
Окончательно Германия отказалась от проведения зимних Олимпийских игр только в конце осени 1939 года. Несмотря на то что уже в октябре 1939 года было ясно, что западные державы не будут заключать мира с рейхом, целый месяц длилось ожидание официального уведомления об отказе. Это делалось отнюдь не в надежде, что Англия и Франция внезапно изменят свою позицию. Время тянулось для того, чтобы игры не могли провести в какой-нибудь из нейтральных стран (для этого, например, почти идеально подходила Швеция). Лишь 22 ноября Карл фон Хальт информировал графа Байе-Латура об официальном отказе Германии принимать у себя игры 1940 года. В конце ноября Международному олимпийскому комитету не оставалось ничего другого, кроме как вообще отменить предстоящую зимнюю Олимпиаду.