Que pouvait faire Dayan hors de l'armée? Ce fut une mauvaise période pour lui. Il tenta d'abord de se consacrer à des études et suivit des cours à l'Université hébraïque de Jérusalem aux côtés de sa fille, mais cela ne le passionna pas. Aux élections de 1959, inscrit sur une liste du Mapaï, il eSt élu pour remplacer son père. Ministre de l'Agriculture, il s'arrange pour être très discuté sans rien accomplir de très réussi. En réalité il y avait deux autres ministères qui le tentaient: celui de la Défense et celui des Affaires étrangères. Ils sont, en Israël aux mains de vieillards qui détestent l'idée de s'en défaire avant que le Divin Créateur ne les y oblige.
Le déclin de Dayan était celui de 1' " aétivisme ". Pour les Israéliens, ce fut un choc d'apprendre que les troupes devaient se retirer après l'étonnante viéfoire de Gaza et du Sinaï. Ben Gourion venait d'annoncer la fondation du " Troisième Royaume d'Israël " (le premier étant celui de David, le second celui créé après la révolte des Macchabées contre le successeur d'Alexandre le Grand). Vingt-quatre heures après, il révélait d'une voix brisée qu'il lui fallait accéder à la demande du président Eisenhower et consentir au retrait des troupes. La retraite prouvait qu'au Moyen-Orient, les moyens militaires étaient désuets, comparés aux pressions politiques. En regard de l'ampleur des succès militaires, les fruits de la viâoire (ouverture du détroit de Tiran, paix le long de la frontière sud) semblaient dérisoires. L'aftivisme cessa d'être à la mode en Israël pendant une dizaine d'années et jusqu'à la crise qui provoqua la guerre de 1967.
En 1963, Dayan reçut un coup cruel. Ben Gourion démissionna sans en avertir personne et Dayan se retrouva sans soutien. Ben Gourion aurait fort bien pu, avant de démissionner, placer Dayan au ministère de la Défense, mais il ne le fit pas. Il lui en voulait certainement de ne pas l'avoir soutenu lors de 1' " affaire Lavon " (il en voulait d'ailleurs à tout le monde sur ce point). C'eSt ainsi que Dayan, qui était encore ministre de l'Agriculture, et peu apprécié à ce poSte, fut amené à démissionner à son tour sous le prétexte de vagues différends avec Levi Eshkol.
Ben Gourion s'acharna à disloquer le Mapaï pour créer un nouveau parti. Dayan vint l'y rejoindre, non sans contrainte. Il rongeait son frein. Sa fille écrit: " Lorsque la vie politique le relègue aux derniers bancs de l'opposition, il devient irritable et agité.