长，剧院的负责人认识到了他应该有更好的去处，当初引荐他到乌尔姆来的经纪人欧文·迪特雷赫也不忍心让这个天才埋没在小地方，他对卡拉扬说：“你应该到无限广阔的音乐海洋中去锻炼，去竞争，获得更大的声誉和成就。我建议你到一些大的城市去发展。”
乌尔姆歌剧院于是解除了卡拉扬的职务。虽然大家都是为了卡拉扬的前途着想，但是，从某种角度上来讲，卡拉扬失业了。卡拉扬在闲游的时候，脑海中仍充满了指挥和音乐。有一次，他竟然下意识地面对着一棵大树挥舞起双臂，仿佛指挥着一支演奏的乐队。他的这一举动，恰巧被路过的一位亚琛市的音乐经纪人看到了。卡拉扬对音乐的执著深深地打动了这位经纪人。卡拉扬博闻强记，他精通与音乐演奏有关的知识，他还具有超人的记忆力。他在指挥时从来不用看乐谱，他从来都是背谱指挥的，不论是歌剧还是交响乐，除了一些新作品外。他的这种非凡的记忆力及所显示出的对音乐作品深刻而独特的理解力被认为是惟有少数的天才人物才能具备。
“哪有这样投入的艺术家？”这位经纪人感到，眼前的这位艺术家一定有着不可预测的未来。于是，他竭力地向亚琛音乐会推荐卡拉扬。在他的引荐和帮助下，卡拉扬最终得到了亚琛音乐总监的职务。
卡拉扬到亚琛后备受器重，声名大振。不久，他又接受柏林爱乐乐团指挥的聘约，开始步入音乐生涯中的狂热时期。他乘车在亚琛与柏林之间穿梭般地往返。人们说他疯了，他遭到同行的妒忌。后来，卡拉扬正式辞去了亚琛歌剧院的职务，专心于他在柏林的工作，并于1955年始一直担任柏林爱乐乐团的终身指挥兼艺术指导。