在赵家犹如烈火烹金之盛、皇帝亲附赵挺之耳边轻声说悄悄话不久，大观元年（1107 年）正月蔡京复相，三月赵挺之罢右仆射后五日卒。卒后三日，被蔡京诬陷。家属亲戚在京者被捕入狱。因无事实，七月具狱，不久当获释，但挺之赠官却被追夺，其子的荫封之官亦因而丢失。明诚偕清照屏居乡里，亦当始于是年。
在五、六十年代及其以前问世的李清照研究论著中，多以密州（治所在今山东诸城市）为赵挺之原籍，而云明诚、清照屏居之地为诸城，却不知"挺之自密州徙居青州"②之事，亦不知"明年（崇宁五年）春，（挺之）数乞归青州私第"①之事。后经论者详考，赵、李屏居之"乡里"应为青州，而绝非诸城。《后序》所云"归来堂起书库大橱"的"归来堂"，亦当在青州。青州即今山东青州市（曾为益都县），古代亦称青社。八十年代未，青州已建成李清照故居纪念馆，其地在范仲淹、欧阳修纪念亭之北数百米处。
（一）归来堂中读书乐
当李清照被遣归原籍时，赵明诚照旧居京做官，而赵家出了事，明诚不得不屏居乡里时，清照不但情愿"夫唱妇随"，还念念不忘这段读书生活，谓之巴不得"终老是乡"。这对于处在逆境中的大夫，当是一种很大的慰藉，也是中国妇女深情、宽容、贤惠、忘我传统美德的一种体现。与此很不相称的是，赵明诚竟有某种以怨报德之嫌，当然这是后话。
在胪述赵、李屏居青州时的读书生活之前，应对那里的书房--归来堂的来历略加考索。四印斋本《漱玉词》附录诸城王志修诗，自注云："归来堂旧址，乾隆中同邑李氏改名易安园。"对此说，王学初不以为然是应该的，但他的下述说法亦有不尽然之处："归来堂取义于陶渊明之《归去来辞》。明诚屏居乡里时，已每饭后坐归来堂。其时明诚年只二十余岁，或三十乍过，似不能以陶渊明'归去来兮'自拟。此堂殆为赵挺之旧居"②。此说之误主要有两点：一是屏居即隐居，与陶渊明辞官归隐大同小异，即使其事不甚相似亦可师之，不论年龄高低均可以陶"自拟"，此与"易安居士"的来历相仿，均取义于陶辞，并以之自况无疑；二是赵挺之于崇宁五年春"乞归青州"事，虽已整装待发，即"诏许之，既办装将入辞矣"①，但实际上并没有成行，其生平中无归隐之行实，因而不可能以"归来"名其"旧居"或书房。为了证实王说之不能成立，兹补充新据如下：??读陶潜《归去来辞》，觉已不似而愿师之。买田故缗城，自谓归来子。庐舍登览游息之地，② 《宋宰辅编年录》卷十二，中华书局1986 年版。
① 《通鉴长编纪事本末》卷一三一引《赵挺之行状》。
② 《李清照集校注》第238 页。
① 《通鉴长编纪事本末》卷一三一引《赵挺之行状》。