בעת השרות זכה בשני עיטורי-הגבורה ההונגריים הגבוהים ביותר. הוא סיפר על-כך רק בדרך אגב. בהונגריה הקומוניסטית, אחרי המילחמה, קיבל עבודה כמהנדס במיפעל-נשק. כל המועמדים לתפקידים זומנו ביחד והיו צריכים למלא טופס של תולדות-חיים. כשסיים ורגה את מילוי הטופס שלו קרא לו מנהל-הקבלה ואמר: "שכחת לציין שקיבלת שני עיטורים."
״מניין אתה יודע?״ השיב ורגה המופתע.
מסתבר שבתחתית הטופס נדרשו המועמדים לגלות גם כל פרט הידוע להם על שאר המועמדים. כמה מהם מסרו את הפרט הזה על ורגה. מובן שעיטורים שהוענקו במהלך המילחמה נגד ברית-המועצות לא היו המלצה טובה בהונגריה הקומוניסטית. המנהל החזיר לו את הטופס כדי לתת לו הזדמנות לציין את הפרט הזה בעצמו. הוא קיבל את העבודה.
באותה השעה התקבל גם לבית-הספר לאמנות בבודפשט. וגם שם היו לו צרות צרורות. "בכלל,״ סיכם בלי צער, ״מכיוון שאינני שותה ואינני רודף-נשים, ולא היה לי רקע משותף עם התלמידים האחרים שם, לא הסתדרתי בחברה.״
מדוע אינו שותה? תחילה אמר שכטייס היה אסור לו לשתות, ושזה מינהג שנשאר עימו. אחר-כך סיפר שהוריו ייצרו יין באחוזה שלהם, ושזה רורף אותו עד היום. "אני לא יכול לסבול אפילו את הריח של יין."
במרר האנטי-קומוניסטי ב-1956 רצו חבריו לגייס אותו למאבק. הוא דחה אותם בבוז. ״במילחמה טסתי במטוס שהיו בו שלושה מקלעים וארבעה תותחים, ומאות כוחות-סוס במנוע, ולא עצרתי את הטנקים הרוסיים - אז אתם רוצים שעכשיו אעצור אותם בחתיכות-עץ?" שאל.
אבל כששמע שבמהלך הקרבות בעיר נפרץ אחד המוסיאונים, מיהר לשם עם אחד מחבריו. השניים לקחו תת-מקלעים, סגרו את שער המוסיאון, ואחר-כך הניחו את הנשק במועדון-האמנים. מישהו, שראה אותם הולכים ברחוב כשהם חמושים, הלשין עליהם. ורגה לא נאסר, אבל הוטל עליו איסור-עבודה למשך חמש-שנים. פירוש הדבר היה שלא קיבל הזמנות ושלא היה יכול להציג עבודות.
במשך חמש השנים האלה עבד רק לעצמו. הוא עשה מה שעלה על דעתו, מה שהתחשק לו, ואלה היו, לדבריו, השנים היצירתיות ביותר בחייו. אז יצר כמה מן היצירות החשובות ביותר שלו.
עוד לפני כן יצר פסל של פרומיתאוס, גיבור האגדה היוונית, שהוצג בבית-הספר לאמנות. עם הטלת האיסור על ורגה, נזרק הפסל לערימת הגרוטאות. שם, באורח פלא, ראה אותו מנהל מוסיאון בלגי, שבא לביקור. הפסל הרשים אותו, והוא קנה אותו מהמוסד ההונגרי. מכיוון שזה היה רכוש ממשלתי, לא קיבל ורגה אף פורינט אחד.
כעבור שנים נסע ורגה במכונית לאנטוורפן. הוא הגיע לשם מאוחר