מותו של אב המשפחה מערער לעיתים קרובות את היציבות והאחדות בין האחים, וכך קרה גם לאחר פטירת יעקב. האחים, שחשו אשמה על חטאם הישן, הפכו רגישים לכל שינוי, והתעורר בהם הפחד שמא השלום עם יוסף היה זמני ותלוי אך ורק בנוכחותו של אביהם [רש"ר הירש].
הכתוב פותח במילים וַיִּרְאוּ אֲחֵי יוֹסֵף, והפרשנים דנים בשאלה מה בדיוק הם "ראו" שגרם להם לחשוש. הגישה המרכזית בקרב רוב הפרשנים היא שהם הבחינו בשינוי מוחשי ביחסו של יוסף אליהם. בעוד שיעקב היה בחיים, יוסף נהג לארח אותם על שולחנו, אך לאחר מותו הוא פסק מכך. הסיבה לכך לא הייתה שנאה, אלא ענווה וכבוד: בחיי יעקב, האב ישב בראש השולחן. כעת, יוסף לא רצה לשבת מעל ראובן הבכור או יהודה המלך, אך גם לא יכול היה לשבת מתחתיהם מפאת כבוד המלכות שלו, ולכן בחר לאכול בנפרד [רש"י, שפתי חכמים, משכיל לדוד, צרור המור, דברי דוד]. יש המסבירים שיוסף התרחק מעט מסיבות פוליטיות, כדי שהמצרים לא יחששו מכוחם המשותף של האחים ויתחילו לשעבד אותם [גור אריה], או דווקא כדי להוכיח לאחים שאהבתו אליהם אינה תלויה באביהם – שכן גם כעת כשהוא מרוחק מעט ואין מי שיעכב בעדו, הוא אינו פוגע בהם [יריעות שלמה].
פירוש אחר מסביר שהאחים "ראו" דבר מה בדרכם חזרה מקבורת יעקב. יוסף עצר ליד הבור שאליו השליכו אותו בעבר, ובירך את ה' על הנס שעשה לו שם. האחים שראו זאת נבהלו, והסיקו שיוסף עדיין זוכר את הפגיעה וחושב עליה [קיצור בעל הטורים, ריב"א, צרור המור, חזקוני, הדר זקנים]. דעה נוספת מציעה שדווקא במהלך ימי האבל, כשישבו יחד ודיברו, נחשפו האחים לראשונה לעומק הכאב והסבל שיוסף עבר, מה שהעצים את חרדתם [קונטרס חיבה יתירה].
מתוך חרדה זו הם אומרים לוּ יִשְׂטְמֵנוּ יוֹסֵף. המילה יִשְׂטְמֵנוּ מבטאת נטירת איבה, שמירת טינה בלב, או תכנון של מזימה רעה [אבן עזרא, העמק דבר, מחוקקי יהודה]. יש שדורשים זאת מלשון "יש טמון", כלומר שנאה החבויה בלב [צרור המור, הדר זקנים].
המילה לוּ מעוררת מחלוקת רחבה בין הפרשנים, ומתפצלת לשלושה כיווני חשיבה מרכזיים:
הגישה הראשונה מפרשת את המילה לוּ במשמעות של "שמא" או "אולי", למרות שבדרך כלל משמעותה במקרא היא בקשה או תנאי. לפי פירוש זה, האחים פשוט מביעים חשש: שמא יוסף שונא אותנו כעת ויתנקם בנו [רש"י, אבן עזרא, שד"ל, ביאור יש"ר, ביאור שטיינזלץ].
הגישה השנייה מפרשת לוּ כפשוטה – "הלוואי". לפי כיוון זה, האחים מביעים משאלה שנועדה למזער נזקים: הלוואי שיוסף רק ישמור את השנאה בליבו ולא יוציא אותה אל הפועל [קיצור בעל הטורים, הטור הארוך, בכור שור]. לחלופין, הם אומרים: הלוואי שזה היה מסתכם רק בשנאה בלב, אך אנו חוששים שהוא גם יפעל וישיב לנו רעה [הכתב והקבלה, בכור שור].
הגישה השלישית, המבוססת על תפיסה פסיכולוגית ורוחנית עמוקה, טוענת שהאחים אכן ייחלו לכך שיוסף יתנקם בהם מיד. מבחינה פסיכולוגית, שנאה גלויה ועימות ישיר עדיפים על פני כעס כבוש ומוסתר תחת מסווה של רחמים, שכן כעס שיוצא החוצה סופו לשכוך [פרדס יוסף]. כמו כן, קבלת טובות מאויב עלולה לעורר קטרוג משמיים, ולכן העדיפו עונש ישיר מיוסף [חתם סופר]. מבחינה רוחנית, האחים ראו בנבואה את העונש העתידי המרחף על זרעם בגין חטא מכירת יוסף – עונש עשרת הרוגי מלכות וייסורי הגלויות. לכן, הם התפללו: הלוואי שיוסף יתנקם בנו כעת, בעולם הזה, כדי שהחוב ייפרע מדה כנגד מדה ולא יתגלגל לדורות הבאים [אור החיים, תיבת גמא, שפתי כהן, אלשיך, צרור המור].
בסיום דבריהם הם חוששים שיוסף וְהָשֵׁב יָשִׁיב לָנוּ אֵת כָּל הָרָעָה אֲשֶׁר גָּמַלְנוּ אֹתוֹ. הפחד שלהם לא היה שיוסף יהרוג אותם, שכן פעולה כזו היא קלה עבור שליט במעמדו. הם חששו מנקמה מחושבת של תשלום גמול מדויק – שיוסף ימצא דרך מתוחכמת למכור אותם לעבדים, בדיוק כפי שהם עשו לו [העמק דבר, ביאור יש"ר].