קרה לכם פעם שהרגשתם שמישהו אחר מקבל את כל תשומת הלב, וחששתם שאתם נשארים קצת בצד? זה בדיוק מה שהרגישו האחים של יוסף. כשהם ראו שיעקב אביהם אוהב את יוסף כל כך ומאמין לו, הלב שלהם התמלא בפחד עמוק. הם חששו שיוסף, שקיבל את כתונת הפסים המיוחדת, הולך להיות הממשיך היחיד של המשפחה. הם פחדו שיעקב יבחר רק בו כדי לקבל את הברכה של ה' ואת נחלת הארץ, ושהם יישארו לגמרי בחוץ. הפחד הזה גרם להם לכעוס מאוד על יוסף ולהתרחק ממנו.
בגלל הכעס הזה, האחים הגיעו למצב שבו וְלֹא יָכְלוּ דַּבְּרוֹ לְשָׁלֹם. כלומר, הם לא היו מסוגלים לדבר איתו בידידות. המפרשים מסבירים שיש כאן גם נקודה טובה לזכותם של האחים, והיא שהם פשוט לא רצו להעמיד פנים. הם אמרו לעצמם שאם בתוך הלב הם כועסים על יוסף, הם לא מוכנים להיות צבועים ולהתנהג אליו בנחמדות כלפי חוץ. הם העדיפו לשתוק ולהתרחק, ולא להגיד מילים יפות של שלום כשהם לא באמת מתכוונים אליהן.