新婚后的生活，虽然清贫，但安静和谐，高雅有趣，充满着幸福与欢乐。
宋徽宗崇宁元年（1102年）七月，李清照出嫁后的第二年，其父李格非被列入元祐党籍，不得在京城任职。同一年，赵明诚之父赵挺之却一路升迁，六月除尚书右丞，八月除尚书左丞。为救父之危难，李清照曾上诗赵挺之，均未奏效。被罢官后的李格非，只得携眷回到原籍明水。
朝廷党争愈演愈烈，李格非“元祐党人”的罪名株连到李清照身上。崇宁二年（1103年）九月庚寅诏禁元祐党人子弟居京，辛巳，诏：“宗室不得与元祐奸党子孙为婚姻。”崇宁三年（1104年），“夏，四月，甲辰朔，尚书省勘会党人子弟，不问有官无官，并令在外居住，不得擅自到阙下”（《续资治通鉴》卷八十八）。李清照因而不得不只身离京回到原籍。
崇宁四年（1105年）暮春，赵挺之始除尚书右仆射兼中书侍郎。六月，“（因）与（蔡）京争权，屡陈其奸恶，且请去位避之”，遂引疾乞罢右仆射。崇宁五年（1106年）二月，蔡京罢相，赵挺之复授尚书右仆射兼中书侍郎。与此同时，朝廷毁《元祐党人碑》，继而大赦天下，解除一切党人之禁，李格非等“并令吏部与监庙差遣”（《续资治通鉴拾补》卷二十六），李清照也得以返归汴京与赵明诚团聚。但宋徽宗大观元年（1107年）正月，蔡京复相。三月，赵挺之被罢右仆射后五日病卒。卒后三日，即被蔡京诬陷。家属、亲戚在京者被捕入狱，因无事实，七月狱具，不久即获释。但赵挺之赠官被追夺，其子的荫封之官亦因而丢失，赵家难以继续留居京师。
3. 屏居青州
宋徽宗大观元年（1107年）秋，李清照、赵明诚屏居青州，命其室曰“归来堂”，自号“易安居士”。“归来堂”中，李清照与赵明诚虽失掉了昔日京师丞相府中的优裕生活，却得到了居于乡里平静安宁的无限乐趣。他们相互支持，研文治学创作；他们节衣缩食，搜求金石古籍。在《金石录后序》中，李清照对此作了较为详尽的叙述：“后屏居乡里十年，仰取俯拾，衣食有余。连守两郡，竭其俸入，以事铅椠。每获一书，即同共勘校，整集签题。得书、画、彝、鼎，亦摩玩舒卷，指摘疵病，夜尽一烛为率。故能纸札精致，字画完整，冠诸收书家。”
青州古城是古齐国的腹心地区，是古老的文物之邦，丰碑巨碣，所在多有，三代古器，时有出土。赵明诚夫妇在当地收集到《东魏张烈碑》、《北齐临淮王像碑》、唐李邕撰书《大云寺禅院碑》等一大批石刻资料。益都出土的有铭古戟，昌乐丹水岸出土的古觚、古爵，陆续成为他们的宝藏。