ওয়াল্ট হুইটম্যানে উপরে পারিবাহিক আবহের প্রভাব ছিল খুব সামান্য। মা মূলত ধর্মীয় বইপত্র পড়তেন। বাবা ছিলেন পোড় খাওয়া শ্রমিক (!) ও মদে আসক্ত। তাদের ৭ সন্তানের মধ্যে ৩ জনই কোন না কোন মানসিক সমস্যায় ভুগতেন। বিদ্যালয় তাদের কাছে কোন সময়ই গুরুত্বপূর্ণ কিছু ছিল না, ওয়াল্ট ১১ বছর বয়সেই স্কুলে যাওয়া বন্ধ করে দেন, যদিও সুযোগ পেলেই বই ধার করে পড়তে থাকতেন আরব্য রজনী, জেমস ফেনিমোর কুপার আর স্যার ওয়াল্টার স্কটের