党获胜组阁，拉宾出任内阁总理。拉宾当上总理后，给处于第四次中东战争虽胜犹败的以色列带来了一股生气。是的，在这次战争中，以色列损失了很多人员，拉宾对于这个问题有自己的看法，人要是都打光了，要那么多土地又有什么用呢？同时，这次战争也警告了以色列，阿拉伯国家也可以打闪击战，也可以主动攻击以色列。拉宾知道，目前的中东，谁也不可能吞掉谁。犹太人要得到永久的安静，以色列要得到永久的和平，只有和平一条路。
拉宾在担任总理期间，为中东和平做出了巨大的努力。他采取了一种积极而务实的对外政策。分别与叙利亚和埃及签订了“军事脱离”协议，又在美国调解下签订了著名的《埃以双方谅解备忘录》，他还多次到约旦进行访问，为后来的以色列与约旦的和解铺平了道路。特别值得一提的是，拉宾在担任总理的这段时间里，为埃以和解做出了很大的努力，在他辞职前，他设法和埃及总统萨达特取得了联系，为继任的总理贝京最终实现埃以和解和萨达特出人意料地访问耶路撒冷铺平了道路。
然而在1976年12月，拉宾却因在安息日组织军官及部分内阁成员欢迎美国的F—15飞机，触怒了在以色列颇有影响的宗教政党，有违圣训是不可饶恕的。事情并没有因此而终结，四个月后，拉宾夫人利赫非法在美国存款一事被揭露，拉宾被迫辞职。
1984年9月，拉宾再度崛起，出任国防部长，1990年卸任。此时，世界已经出现了和平的趋势，东欧与苏联不再与西方对抗，海湾战争使中东的敌友格局重组。这一切对拉宾有着很深的影响。1992年，拉宾再度当选为工党主席，同年6月，工党在大选中获胜，拉宾再次出任以色列总理。