תארו לעצמכם שאתם מנסים לבנות יחד עם החברים שלכם מבנה ענק, ופתאום כל אחד מתחיל לדבר בשפה אחרת לגמרי. אף אחד לא מבין את השני, אי אפשר להסכים על שום דבר, והעבודה המשותפת פשוט מתפרקת. זה בדיוק מה שקרה לבוני מגדל בבל. ברגע שהשפות שלהם התבלבלו, הם כבר לא יכלו להמשיך לחיות ולעבוד יחד.
לכן, וַיָּפֶץ ה' אותם. בני האדם רצו להישאר במקום אחד ופחדו מאוד להתפזר, אבל ה' הראה להם שהתוכנית שלו היא זו שתקרה בסופו של דבר, והוא זה שפיזר אותם. האנשים התחלקו לקבוצות לפי השפה החדשה שלהם, וכל קבוצה נדדה לאזור אחר עַל פְּנֵי כָל הָאָרֶץ, כלומר ברחבי העולם כולו. הפיזור הזה לא היה רק עונש, אלא שלב חשוב מאוד. ה' רצה שהאנושות תתחלק לעמים שונים, כדי שבעתיד יוכל לצמוח מתוכם עם אחד מיוחד שיבחר ללכת בדרך טובה ולעבוד את ה' מכל הלב.
כשהבונים ראו שהחברים שלהם עוזבים ומתפזרים, הם הבינו שהחלום שלהם להישאר יחד נכשל, ולכן וַיַּחְדְּלוּ לִבְנֹת הָעִיר. הם פשוט הפסיקו את הבנייה ועזבו את המקום. ומה קרה למגדל הגדול? ברגע שהם הפסיקו לבנות את העיר עצמה, כבר לא הייתה שום סיבה להמשיך לבנות את המגדל, הרי מגדל כזה נועד לעמוד במרכז של עיר גדולה. ברגע שהעיר ננטשה, גם בניית המגדל נעצרה לחלוטין.