Потерпев фактическую неудачу в деле подчинения себе олимпийского движения, с 1941 года Карл Дим решил сосредоточить свои усилия на формировании общеевропейской спортивной структуры. Вначале он успешно стремился взять под контроль уже имевшиеся европейские организации, но на этом поприще не добился успеха. В итоге в конце 1941 года было запланировано проведение Европейской спортивной конференции, на которой предполагалосьвсе-такиосуществить «преобразование европейского спорта». Конференция подавалась как одно из мероприятий, проходивших в Гармиш-Партспкирхспс во время чемпионата мира по лыжному спорту. Чтобы придать этим соревнованиям видимость «мировых», Имперскому спортивному руководству пришлось добиваться права на участие не только командам нейтральных государств, но и оккупированных Германией стран. Так, например, вопрос о приглашении французских спортсменов поднял Ганс фон Чаммер в личной беседе с Гитлером. Но опять не обошлось без осложнений с итальянцами. Их не пригласили на конференцию, проходившую с 26 декабря 1941 года по 10 января 1942-го. Их просто поставили перед свершившимся фактом, когда все заседания уже закончились. Этот факт однозначно указывал на то, что, вопреки всем громким заявлениям, в Германии Италию никто не рассматривал как равноправногопартнера.
Некоторое время спустя Гитлер посчитал неудачной идею созданияЕвропейского спортивного конгресса, так как она якобы моглаассоциироватьсяу немецких солдат с холодом и льдом. По крайней мере время проведения его заседаний должно было совмещаться с зимними соревнованиями. Принимая во внимание это сумасбродное распоряжение фюрера, Ганс фон Чаммер решил провести очередной конгресс уже в октябре 1942 года. Это намеревались сделать в Мюнхене. Имперское спортивное руководство даже запросило для этого специальное разрешение у министерства иностранных дел. Эта предосторожность была не лишней, так как на конгрессе намечалось создать Европейский спортивный союз, в котором Карл Дим должен был занять пост генерального секретаря.
Приглашения на это мероприятие получили представители Болгарии, Дании, Финляндии, Голландии, Италии, Хорватии, Норвегии, Румынии, Словакии, Испании, Венгрии и Португалии. По самым различным причинам было решено отказаться от приглашения делегатов из Бельгии, Швеции, Швейцарии, Франции, Греции и Турции. Карл Дим распланировал работу конференции буквально по минутам, но в дело опять вмешалась случайность. Сначала конференцию перенесли на две недели, затем на неопределенный срок, а потом и вовсе про нес забыли. Причины этого неясны, но не исключено, что Карл Дим стал заложником «борьбы компетенций», а именно противостояния Геббельса и Риббентропа. Каждый из этих деятелей хотел контролировать сферу спорта.
Между тем Карл Дим стал ощущать, что сдавал позиции. Ему исполнилось 60 лет, с каждым днем становилось все сложнее и сложнее соревноваться с «активной молодежью», например с эсэсовским офицером Артуром Йенше. Когда25марта 1943 года в возрасте 55 лет от сердечного приступа скончался Ганс фон Чаммер, Дим потерял своего высокого покровителя. Когда новым Имперским спортивным руководителем был назначен Арно Брайтмайер, то это означало, что политическая карьера Карла Дима в Третьем рейхе была закончена. Ему оставалось лишь изредка выпускать журнал «Олимпийское обозрение» и изображать видимость работы Международного олимпийского института.