גם ממעמקי הבור, אישיותו של יוסף קורנת ומובילה אותו לעמדת הנהגה. אף על פי שהיה כלוא בסביבה קשה תחת השגחתו של שר אכזר הממונה על פושעים, יוסף מוצא חן רב בעיניו וזוכה לאמון מוחלט [ביאור יש"ר]. בעקבות זאת, מועברות לידיו כל סמכויות הניהול של הכלא. המילה הָאֲסִירִם משמשת כאן כתואר לאנשים הכלואים [רד"ק], ויוסף הוא זה שקובע את סדרי חייהם, כגון זמני הארוחות והיציאות [ביאור שטיינזלץ]. תפקיד זה ביסס את מעמדו והטיל את מוראו על יושבי הכלא [העמק דבר]. יתרה מזאת, השר העניק ליוסף סמכות לטפל בענייני האסירים מול המלך כדי לקדם את שחרורם, וסמך עליו לחלוטין משום שראה שיוסף פועל ביושר מוחלט ואינו לוקח שוחד [אלשיך].
החלק המרכזי של הפסוק, וְאֵת כָּל אֲשֶׁר עֹשִׂים שָׁם הוּא הָיָה עֹשֶׂה, זכה למספר כיווני פרשנות:
הגישה המרכזית בקרב רוב הפרשנים היא שאין להבין את הדברים כפשוטם, שכן אם יוסף היה מבצע את עבודות הכפיים של האסירים בעצמו, הוא היה הופך למשרת שלהם – דבר הסותר את מעמדו הרם [הכתב והקבלה, שפתי חכמים, גור אריה]. לכן, הכוונה היא שכל מה שנעשה בכלא התבצע אך ורק על פי פקודתו, רצונו וארגונו. מכיוון שהוא היה המפקד והמצווה, התורה מייחסת את העשייה אליו, כאילו עשה זאת במו ידיו [רש"י, רד"ק, שד"ל, מלבי"ם]. במסגרת זו, יוסף ניהל את מערך העבודה של האסירים ואת מסחר התוצרת שלהם [העמק דבר]. פירוש לשוני נוסף מציע שהמילה עֹשֶׂה נגזרת מלשון דחיקה וזירוז, כלומר תפקידו של יוסף היה לפקח על האסירים ולהאיץ בהם לסיים את מלאכתם בזמן [הכתב והקבלה].
מנגד, ישנה גישה המפרשת את הפסוק כפשוטו. לפי דעה זו, יוסף אכן עסק במלאכה ובאומנות יחד עם שאר האסירים כדי להתפרנס [אבן עזרא, הטור הארוך]. פרשנות זו חושפת רובד עמוק באישיותו: בניגוד לאנשים שעולים לגדולה, מנצלים את שררתם כדי להתבטל ומטילים את העבודה על כפופיהם – דבר הגורם לטינה ושנאה – יוסף לא נהג בהתנשאות. למרות שהיה המנהל העליון, הוא הפשיל שרוולים ועבד שכם אחד עם האסירים, מה שהעיד על מידותיו הטובות והפך אותו לאהוב על אלוהים ואדם [אור החיים, פרדס יוסף].
לצד הניהול והעבודה הפיזית, לפועלו של יוסף היה גם ממד רוחני. הוא ניצל את מעמדו והשפעתו כדי ללמד את האסירים על ייחוד ה', והדריך אותם כיצד להתוודות על חטאיהם ולהכיר בצדק האלוהי [שפתי כהן].