תגובתו הנחרצת של יעקב לדברי ראובן חושפת את עומק החרדה לגורלו של בנימין ואת חוסר האמון באחים. על אף ששמעון ודאי כלוא במצרים, יעקב חושש יותר לספק הסכנה המרחפת על בנימין.
לֹא יֵרֵד בְּנִי עִמָּכֶם
הפרשנים מסכימים כי יעקב למעשה דוחה כאן לחלוטין את הצעתו של ראובן, שהציע להמית את שני בניו אם לא יחזיר את בנימין. יעקב ראה בהצעה זו דברי שטות של "בכור שוטה" [רש"י]. מעבר לחוסר ההיגיון שבהריגת שני נכדים נוספים במקרה של אובדן בנימין [בכור שור], ראובן התכוון למשכן את זכותו לנחלה כפולה בארץ (שני שבטים), אך יעקב רומז לו שאין לו בעלות על זכות זו, שכן הנכדים שואבים את כוחם ישירות מהסבא ולכן ראובן אינו יכול לסחור בהם [דברי דוד].
יעקב פונה בלשון רבים (עִמָּכֶם) כדי לרמוז שדברי ראובן אינם ראויים כלל לתשובה אישית [משכיל לדוד]. מעבר לכך, יעקב לא סמך על ראובן עקב חטאו בעבר [רבנו בחיי], ואף לא סמך על שאר האחים. הצירוף בַּדֶּרֶךְ אֲשֶׁר תֵּלְכוּ בָהּ מתפרש לא רק כנתיב הליכה, אלא כביקורת על דרך ההתנהגות המוסרית של האחים מאז מעשה שכם, שבעטיה אינו בוטח בהם [קונטרס חיבה יתירה].
כִּי אָחִיו מֵת וְהוּא לְבַדּוֹ נִשְׁאָר
יעקב מנמק מדוע בנימין יקר לו כל כך: הוא הבן היחיד שנותר מאשתו העיקרית, רחל [ספורנו], ואין לו תמורה [בכור שור]. בניגוד לשמעון שיש לו חמישה אחים מאמו, בנימין נותר בודד [אור החיים]. קביעתו שאָחִיו מֵת נובעת מההבנה שאילו יוסף היה חי, ודאי הייתה מגיעה שמועה על כך במשך השנים [רד"ק]. בנוסף, יעקב חושש מ"חזקה" של מזל רע הרודף את משפחת רחל, לאחר מות האם והאח [מלבי"ם].
וּקְרָאָהוּ אָסוֹן בַּדֶּרֶךְ
הגישה המרכזית בקרב רוב הפרשנים היא שיעקב חרד מסכנות הדרך. הוא אינו אומר "אם יקראהו", אלא מתבטא בלשון ודאית, שכן אפילו בדרך רגילה ובטוחה לכאורה (כמו זו שבה הלך יוסף) עלול להתרחש אסון [אור החיים]. המילה אָסוֹן אינה מתייחסת בהכרח למוות, אלא לכל תקלה, כגון מאסר או עבדות [קונטרס חיבה יתירה]. הסכנה נובעת הן מעלילותיו של שליט מצרים, שבפניהן ערבות אנושית אינה מועילה [העמק דבר, ביאור יש"ר], והן מסיבות רוחניות, שכן השטן נוהג לקטרג בשעת סכנה [תורה תמימה, הדר זקנים, גור אריה].
מנגד, ישנה גישה הטוענת כי החשש מסכנת הדרך היה רק תירוץ דיפלומטי. יעקב לא רצה לבייש את ראובן ולומר לו ישירות שאינו סומך עליו, ולכן תלה את הסירוב בסכנות הדרך. ההוכחה לכך היא שכאשר יהודה יציע מאוחר יותר את ערבותו, יעקב יסכים ולא יעלה את טענת סכנת הדרך, משום שביהודה הוא בטח שימסור את נפשו להצלת בנימין [מזרחי, שפתי חכמים].
וְהוֹרַדְתֶּם אֶת שֵׂיבָתִי בְּיָגוֹן שְׁאוֹלָה
מאז אובדן יוסף, התנחם יעקב מעט בגידולו של בנימין. אובדנו ישאיר את יעקב ללא כל זכר מרחל, והוא לא ימצא נחמה עד יום מותו [רלב"ג]. בניגוד לאבלו על יוסף, שם אמר שירד אל בנו אבל שאולה, כאן הוא אומר שירד שְׁאוֹלָה (לקבר) מתוך יָגוֹן, כלומר הצער העמוק עצמו יביא למותו המהיר טרם זמנו [העמק דבר, ביאור שטיינזלץ]. פירוש נוסף מציע שאם בנימין יילקח לעבדות ולא ימות, לא שייך לנהוג עליו מנהגי אבלות רשמיים, אלא רק לסבול מיגון [קונטרס חיבה יתירה].