האחים חווים חרדה עמוקה כאשר הם מלווים אל מעונו הפרטי של שליט מצרים. רוב הפרשנים מסבירים כי סוחרים רגילים הבאים לקנות תבואה נוהגים ללון בפונדקאות ציבוריים בעיר, ולא בארמונו של השליט. לכן, האחים מסיקים מיד כי הם אינם זוכים להכנסת אורחים, אלא נאספים אל תוך הבית כדי להיכלא במשמר [רש"י, רבנו בחיי, מזרחי]. המילה וַיִּירְאוּ נכתבת במקרא בשתי אותיות י', צורה המדגישה את עוצמת פחדם [רש"י, מנחת שי]. מעבר לפחד הפיזי, היו שהסבירו כי חרדתם נבעה מתחושה רוחנית עמוקה; הם הרגישו שזהו יום הדין על חטא מכירת אחיהם, וכי העונש האלוהי משיג אותם כעת [צרור המור, שפתי כהן]. נוסף על כך, האחים היו מסופקים בתחילה אם הכסף שהוחזר בשקיהם היה מבחן לכנותם או עלילה. ברגע שהובאו לבית השליט עוד בטרם הספיקו להחזיר את הכסף מיוזמתם, הם הבינו שמנסים להקדים אותם ושמדובר במלכודת מתוכננת היטב [מלבי"ם].
כאשר האחים מדברים על הכסף, הם משתמשים במילה הַשָּׁב (שחזר מעצמו) ולא "המושב" (שהוחזר), משום שהאירוע נראה להם כפלא בלתי מוסבר, כאילו הכסף חזר לאמתחותיהם באורח נס [ביאור יש"ר, צרור המור].
את החשש מפני העלילה מבטאים האחים במילים לְהִתְגֹּלֵל ווּלְהִתְנַפֵּל. הפרשנים מציעים שתי דרכים מרכזיות להבנת ביטויים אלו. הגישה הראשונה רואה בכך מטאפורה פיזית של תקיפה המדמה עלילת שווא: לְהִתְגֹּלֵל משמעו להתגלגל על אדם כמו חפץ כבד ומוחץ [שד"ל], או להתהפך עליו בכוח כדי להכניעו [רמב"ן]. וּלְהִתְנַפֵּל מתאר אדם המפיל את מלוא קומתו ומשקלו על חברו בכוונה תחילה, ואז צועק וטוען במרמה "אתה הפלת אותי!", כדי למצוא עילה לתבוע אותו [אבן עזרא, שד"ל, העמק דבר]. הגישה השנייה, הנשענת בין היתר על תרגום אונקלוס, מפרשת את המילים במונחים של שררה וסיבתיות: לְהִתְגֹּלֵל מלשון אדנות והתנשאות בכוח, או מלשון "בגלל" – חיפוש סיבה ותואנה להרע להם בגלל הכסף, בעוד וּלְהִתְנַפֵּל משמעו להעליל עליהם עלילות דברים שקריות [רמב"ן, רש"י, חזקוני, ביאור יש"ר].
בסוף דבריהם, האחים מביעים חשש שיילקחו לעבדים יחד עם חמוריהם (וְאֶת חֲמֹרֵינוּ). עולה השאלה: אם האנשים עצמם הופכים לעבדים, מדוע אכפת להם מגורל הבהמות? הפרשנים מציעים לכך מספר תשובות מרתקות. הגישה המרכזית בקרב רוב הפרשנים היא שדאגתם כלל לא הייתה נתונה לחמורים עצמם, אלא למשפחתם שבכנען; ללא בהמות המשא, הם לא יוכלו לשלוח את התבואה חזרה לביתם, ויעקב וכל בני ביתו ימותו ברעב [רמב"ן, רבנו בחיי, הטור הארוך].
אחרים מסבירים כי עצם הכנסת החמורים לתוך הבית היא שהוכיחה לאחים כי מדובר בעלילה. אילו רצה השליט רק לחקור אותם, היה משאיר את הבהמות בחוץ. מאחר שגם החמורים הוכנסו, ברור היה שכוונתו להחרים את כל רכושם [חזקוני, הדר זקנים], ובפרט שהחמורים הם אלו שנשאו את האמתחות עם הכסף, ולכן נחשבו כ"שותפים" לגניבה [קונטרס חיבה יתירה]. לבסוף, יש המפרשים שהאחים חששו מסוג העבדות המצפה להם; הם פחדו שהשליט לטש עיניים אל קומתם החזקה ואל חמוריהם כדי להפוך אותם לסבלים ולחמרים. בניגוד לרועי צאן שיכולים לשבת במנוחה ולחשוב, עבודתו של החמר היא קשה, רצופה בהליכה רגלית, בצעקות ובהכאות על הבהמה, ללא כל רגע של שקט [ביאור יש"ר, שפתי כהן].