ברגע המבחן הגורלי מול אשת פוטיפר, מציג יוסף מערכת הגנה רב-שכבתית ומנומקת היטב. תשובתו אינה מסתכמת בסירוב טכני, אלא פורסת השקפת עולם מוסרית ודתית שלמה, המבוססת על הכרת הטוב כלפי אדונו ועל יראת שמים עמוקה, תוך שהוא מציג את חומרת המעשה הן במישור האנושי והן במישור האלוהי.
בראשית דבריו מתייחס יוסף למעמדו הייחודי ולסמכויותיו. באומרו אֵינֶנּוּ גָדוֹל בַּבַּיִת הַזֶּה מִמֶּנִּי, הוא מדגיש כי פוטיפר העניק לו תנאים מצוינים וכי אין בבית אף עבד שמעמדו רם משלו [אוהב גר, ביאור שטיינזלץ]. יוסף מציין כי אדונו סמך עליו לחלוטין, וְלֹא חָשַׂךְ מִמֶּנִּי מְאוּמָה. דווקא אמון מוחלט זה, שבו נמסר לידיו הכל למעט דבר אחד, אמור להקל עליו להישאר נאמן, שכן הוא אינו חסר דבר ואין לו כל עילה למרוד [בכור שור].
הסייג היחיד לסמכותו של יוסף הוא כִּי אִם אוֹתָךְ בַּאֲשֶׁר אַתְּ אִשְׁתּוֹ. הפרשנים מסבירים כי החרגה זו אינה נובעת בהכרח מציווי מפורש של פוטיפר שהזהיר את יוסף להתרחק מאשתו, אלא זוהי מניעה שנוצרת מאליה מעצם היותה אישה נשואה. יוסף אמנם מופקד על כל צרכיה החומריים ועל רכושה, אך בענייני האישות היא מחוץ לתחום שליטתו [ספורנו, אור החיים, תולדות יצחק]. עם זאת, יש הסבורים כי ייתכן שפוטיפר אכן הזהיר את יוסף מפורשות בנוגע לאשתו, משום שהבחין ביופיו הרב של הנער [רד"ק].
מכאן עובר יוסף לנימוקי הסירוב, אותם הוא מחלק לשתי רעות שונות: בגידה באדם וחטא לאלוהים [רבנו בחיי, מלבי"ם].
במישור האנושי, יוסף שואל וְאֵיךְ אֶעֱשֶׂה הָרָעָה הַגְּדֹלָה הַזֹּאת. כוונתו היא לעוול המוסרי העצום שבהשבת רעה תחת טובה. פוטיפר גדל אותו ונתן בו אמון מלא, ולשכב עם אשתו תהיה כפיות טובה מוחלטת ובגידה שפלה באדם שהיטיב עמו [ספורנו, שד"ל, ביאור יש"ר].
במישור הדתי, יוסף מוסיף וְחָטָאתִי לֵאלֹהִים. יוסף מקדים תרופה למכה ויודע שאשת פוטיפר עשויה לטעון כי איש לא ידע על המעשה. על כך הוא משיב שגם אם הדבר ייסתר מעיני פוטיפר והבריות, הוא לעולם אינו נסתר מעיני האלוהים, והוא זה שיעניש אותו [שד"ל, חזקוני, צאינה וראינה].
הגישה המרכזית בקרב רוב הפרשנים היא שהחטא לאלוהים מתייחס לאיסור גילוי עריות, שהוא איסור אוניברסלי שניתן לכלל האנושות, המכונים "בני נח", עוד בטרם מתן תורה. יוסף מדגיש איסור זה משום שאם היה מדובר רק בחומרה שקיבלו עליהם האבות באופן וולונטרי, הדבר לא היה נחשב ל"חטא" המחייב עונש. הפיכתו לחטא נובעת מהיותו איסור אלוהי מוחלט לכל בן אנוש [רש"י, רד"ק, גור אריה]. מעבר לכך, יוסף רומז לה כי אם נשים גויות פנויות אסורות על העברים, קל וחומר שאישה נשואה אסורה עליו [תולדות יצחק]. גישה אחרת מציעה כי החטא לאלוהים אינו מתייחס רק לעצם מעשה הניאוף, אלא לבגידה עצמה. אלוהים שונא בוגדים ודורש נאמנות, ולכן הבגידה באדון היא כשלעצמה חטא חמור כלפי שמיים [רמב"ן, הטור הארוך].
מדוע יוסף מזכיר קודם את הבגידה בפוטיפר ורק לאחר מכן את החטא לאלוהים? הפרשנים מסבירים כי יוסף מתאים את דבריו לשומעת. מכיוון שמדובר באישה מצרית, שאינה מכירה את חוקי האלוהים, הוא פותח בנימוק האנושי וההגיוני של כפיות טובה ובגידה באמון, שקל לה יותר להבין, ורק לאחר מכן מוסיף את הנימוק הדתי [רמב"ן, הטור הארוך, מזרחי].
לסירוב של יוסף יש גם משמעות רוחנית עמוקה. מהות ה"חטא" היא הוצאת האדם מהשפעתו של האור האלוהי. אם יוסף ייכנע ליצרו, הוא יאבד את כל מעלתו הרוחנית, ינתק את עצמו ממקור הנשמות וישקע בחושך של תאווה חייתית [אור החיים, רש"ר הירש]. ההבנה הזו הייתה כה חדה אצל יוסף, עד שגם אם אשת פוטיפר ביקשה ממנו רק לשכב לצידה ללא מגע מלא, הוא סירב, ביודעו שקרבה כזו תוביל אותו בהכרח להידרדרות ולחטא המלא כלפי אלוהים [דברי דוד].