במעמד חקירה מתוח, כאשר הנאשמים מציגים את מה שנדמה להם כאליבי מושלם, הופך החוקר את קו ההגנה שלהם עצמו להוכחה הניצחת לאשמתם. לאחר שאחי יוסף חושפים פרטים אישיים על משפחתם כדי להוכיח את תומתם, יוסף נאחז בדבריהם כדי לבסס את החשד נגדם.
הגישה המרכזית בקרב רוב הפרשנים מתמקדת בביאור התחביר של תגובת יוסף. המילים הוּא אֲשֶׁר דִּבַּרְתִּי עשויות להישמע כאילו יוסף מסכים עם דברי האחים, אך הפרשנים מבהירים כי משמעותן היא: "הדבר שאמרתי לכם מלכתחילה שאתם מרגלים, הוא האמת והנכון" [רש"י, מזרחי, גור אריה, שפתי חכמים, הכתב והקבלה, דברי דוד]. יוסף מצהיר שאינו חוזר בו מהאשמתו הראשונה, ומוסיף את המילה לֵאמֹר כדי להדגיש שעודנו אומר כן ודבק בטענתו במלואה [אור החיים, ברכת אשר].
הפרשנים מציגים מספר דרכים שבהן המידע שנידבו האחים הפליל אותם והוכיח את טענתו של יוסף:
ראשית, טענת האחים כי כולם בני איש אחד הם, פועלת לרעתם. יוסף מקשה: אם אכן מדובר במשפחה אחת, מדוע נשלחו עשרה אנשים לקנות תבואה? למשימה כזו די באדם אחד או שניים. העובדה שעזבו את אביהם הזקן לבדו, כשהנהגת הבית מוטלת על ילד קטן, מעידה שסיפורם שקרי, וסביר יותר שהם נציגים של עשרה שבטים שונים שהתאגדו למטרת ריגול [רד"ק, מלבי"ם, ביאור יש"ר, יריעות שלמה].
שנית, חשיפת קיומו של האח הצעיר שנשאר בבית והאח הנוסף ש"איננו", מעוררת חשד כבד. יוסף רומז שאותו אח נעלם הוא למעשה שותף לפשע שהלך בעצתם לדווח על מה שראו [ספורנו, הכתב והקבלה], או שמא נתפס ונהרג בעת שריגל בעצמו [העמק דבר]. עצם העובדה שלא הביאו את האח הצעיר מעידה על כך שהם חוששים שמא הוא יעיד ויסתור את סיפורם הבדוי, או שהוא פשוט צעיר מכדי להיות בעל תחבולות ולעסוק בריגול [כלי יקר, בכור שור, קונטרס חיבה יתירה, רש"ר הירש].
יתרה מכך, עצם הפירוט המוגזם של האחים מחשיד אותם. במקום להשיב בקצרה, הם מספקים מידע רב שלא נתבקשו למסור, מה שיוצר רושם של שקרנים מיומנים שהכינו מראש סיפור כיסוי מורכב כדי לרמות את הרשויות [שד"ל, ביאור שטיינזלץ].
רובד פרשני נוסף, הנשען על מדרש האגדה, חושף חקירה סמויה שהתנהלה במקום המבארת מדוע הטיח בהם יוסף את האשמה. יוסף שאל את האחים מה יעשו אם ימצאו את אחיהם האבוד ויידרשו לשלם עבורו כופר עתק. כשהשיבו שיפדו אותו בכל סכום, הקשה יוסף מה יעשו אם השובים יסרבו להחזירו. על כך ענו האחים: "לכך באנו, להרוג או ליהרג". תשובה זו אפשרה ליוסף להטיח בהם: הוּא אֲשֶׁר דִּבַּרְתִּי - כוונתכם האמיתית היא להחריב את העיר, בדיוק כפי שעשיתם בשכם [רש"י, ברטנורא, צאינה וראינה]. על גישה זו עולה התמיהה: כיצד ייתכן שהאחים, שלא נקפו אצבע במשך שנים לחפש את אחיהם, מוכנים פתאום למסור את נפשם עליו דווקא עכשיו? חוסר סבירות זה מחזק את טענת יוסף כי מדובר בעלילת כזב שנועדה לחפות על מזימה לפגוע ביושבי העיר, פעולה הנכללת בגדר ריגול [ברכת אשר, אור החיים].