Однако, несмотря на то что в Вене руководство МОК получило письменные гарантии от немецкой делегации, граф де Байе-Латур не смог полностью избавиться от терзавших его подозрений. В итоге, когда в 1934 году в Афинах вновь состоялось очередное заседание Международного олимпийского комитета, то тема преследования евреев в Германии вновь оказалась на повестке дня. Впрочем, на этот раз Байе-Латур в качестве президента МОК отметил, что «в этой стране прилагаются самые серьезные усилия, чтобы избавить спорт от политического влияния». Но это не помешало ему попросить представителей Германии вновь озвучить гарантии, которые были даны в Вене. В то время членов МОК очень беспокоили события, происходившие в Германии. И их опасения не были безосновательными. Пройдет год, и на очередном партийном съезде, который окрестят «съездом свободы», будут приняты так называемые «Нюрнбергские законы», согласно которым евреи окажутся ущемленными в своих правах. Именно к этому моменту достигнет своего апогея волна акций, в ходе которых звучали призывы бойкотировать Берлинскую Олимпиаду. Наиболее сильно кампания критики и бойкота развернулась в США, и ее даже отчасти поддерживали американские члены МОК.
Между тем 7 — 8 марта 1935 года граф Анри де Байе-Латур проводил ревизию строящихся в Берлине олимпийских объектов. После этого он решил предпринять самые решительные меры. В октябре 1935 года он стал настаивать на личной встрече с Гитлером. Темой разговора должны были стать опять же еврейские спортсмены и проблема развернутой в США кампании бойкота. Чтобы упростить возможность встречи графа с фюрером, имперская канцелярии составила специальный документ, в котором Байе-Латур изображался как дружественный по отношению к Германии деятель. В частности, речь шла о письме американских членов МОК Ширила и Джанке, которые выражали скептическую позицию по поводу возможности проведения Олимпиады именно в Германии. Чтобы снять внутренние противоречия внутри Международного олимпийского комитета, Байе-Латур привел несколько аргументов, которые весьма ловко использовались Германией в собственных целях.Он указывал на то, что еврейские спортсмены в Германии были допущены к тренировкам, более того, на игры в Берлин была приглашена даже сборная Палестины. Президент МОК заявлял: «С марта этого года я нахожусь в постоянном контакте с господином Чаммером унд Остеном, который дал мне гарантии, что евреям разрешат входить в состав германской сборной». Более того, граф не упустил возможности, чтобы напомнить американцам, что у них в стране тоже не наблюдалось расового равноправия. В завершение он произнес, что ни одна из стран мира не разорвала дипломатических отношений с Германией из-за преследования евреев: «Не стоит спорт смешивать с политикой». На этот раз данный тезис играл в пользу Германии.
Принимаяво внимание, под каким углом подавалась деятельность Байе-Латура, пет ничего удивительного, что он воспринимался как дружественный рейху деятель. Прежде чем организовать его встречу с Гитлером, Теодор Левальд подготовил для имперской канцелярии небольшую биографическую справку, в которой отразил основные вехи жизни президента МОК. Аристократ, близкий в свое время к покойному бельгийскому королю Альберту; много времени уделил дипломатической службе; состоял в браке с дочерью князя Клари-Альрингена; член МОК с 1903 года; в 1925 году стал наследником Кубертена; в 1920 году президент организационного комитета по проведению Олимпийских игр в Антверпене. Теодор Левальд насколько мог восхвалял «совершенную беспристрастность графа». Учитывая кампании бойкота и дискуссии, имевшие быть внутри МОК, Левальд добавлял: «Когда я в 1931 году предложил провести Олимпиаду в Берлине, то поддержал это начинание, а теперь выступаю против клеветнических измышлений, благодаря которым Америка хочет испортить репутацию Германии». Развивая этот сюжет, Левальд добавлял: «Граф готов лично направиться в Америку, чтобы, используя свое влияние и авторитет, положить конец кампании травли Берлинской Олимпиады».