מיד לאחר שמסר את צוואתו האחרונה לבנו שלמה, הגיעו חייו של דוד לסיומם [ביאור שטיינזלץ, אברבנאל]. הכתוב מציין כי וַיִּשְׁכַּב דָּוִד עִם אֲבֹתָיו, ביטוי שאינו מתאר רק את עצם המוות, אלא מעיד על כך שנפשו זכתה למנוחה בעולם הנשמות והתאחדה עם אבותיו, שהיו צדיקים וישרים כמותו [רלב"ג, אברבנאל].
עם זאת, קיים ניגוד בין מקום מנוחתה של נפשו לבין מקום קבורתו הפיזי. בעוד שנפשו שכבה עם אבותיו, גופו הופרד מהם שכן הוא וַיִּקָּבֵר בְּעִיר דָּוִד, המזוהה על ידי הפרשנים כעיר ציון [מצודת דוד, רד"ק, רלב"ג]. אבותיו של דוד היו רועי צאן שנקברו בבית לחם, אך דוד, בהיותו מייסד שושלת המלוכה, נקבר בציון שהייתה מקום מושבם של כסאות בית דוד [אברבנאל]. מנגד, יש הסבורים כי ההפרדה בקבורה נבעה מענוותנותו העצומה של דוד. הוא ראה באביו אדם שלם ונטול חטא, ולכן חש שאינו ראוי להיקבר לצידו וביקש להיקבר לבדו בעיר דוד [אהבת יהונתן].
מסורת היסטורית קדומה קושרת לאתר קבורתו של דוד סודות עתיקים. על פי המסופר, דוד ציווה לבנות במקום קבורתו מחבוא נסתר שנבנה בחוכמה אדריכלית רבה, ובתוכו הוטמן אוצר עצום. במהלך ימי הבית השני, הוצאו משם כספים כדי לשלם לאנטיוכוס, ואף המלך הורדוס השתמש בזהב מן הקבר לצורך בניין המקדש. ברבות השנים מתו האנשים שהכירו את סוד המבנה, והגישה לאוצר הנותר אבדה לנצח [אברבנאל].