ประวัติวัยเยาว์ของ ยามาดะ นางามาสะ ปรากฏในเอกสารซุรุงะชิเรียว (駿河志料) หรือจดหมายเหตุของแคว้นซุรุงะ และ ซุมปุชิเรียว (駿府志料) หรือจดหมายเหตุของแคว้นซุมปุ ระบุว่าเขาเกิดในปีเท็นโจที่ 18 หรือ ค.ศ. 1590 (พ.ศ. 2133)

ค.ศ. 1590 เป็นปีที่มีความสำคัญของทั้งประวัติศาสตร์ไทยและญี่ปุ่น โดยเป็นปีที่สมเด็จพระนเรศเสด็จขึ้นครองราชย์ และเป็นปีที่ โทโยโทมิ ฮิเดโยชิ (豐臣秀吉) ปราบปรามตระกูลโฮโจแห่งโอดาวาระจนสามารถรวมแผ่นดินญี่ปุ่นที่แตกแยกมานานให้เป็นหนึ่งเดียวได้สำเร็จ

มีการกล่าวอ้างถึงถิ่นกำเนิดของ ยามาดะ นางามาสะ มีอยู่หลายแห่ง แต่โดยทั่วไปยอมรับกันว่าเขาเกิดที่เมืองซุมปุ (駿府) ในจังหวัดซุรุงะ (駿河国) (ปัจจุบันอยู่ในจังหวัดชิซุโอกะ) เนื่องจากปรากฏแผ่นภาพเขียนเอมะ (絵馬) ที่นางามาสะส่งไปถวายศาลเจ้าเซ็นเง็นเมืองชิซุโอกะ (静岡浅間神社) ในซุรุงะ เมื่อ ค.ศ. 1626 (ค.ศ. 2169) มีข้อความของที่ระบุว่าเขาเป็นคนแคว้นนั้น

เอกสารซุรุงะชิเรียวระบุว่า บ้านเกิดของนางามาสะอยู่ที่ร้านย้อมผ้า (紺屋) ทสึโนะคุนิยะ (津国屋) เมืองบาบะโจ (馬場町) ในซุมปุ บิดาชื่อ คิวซาเอมง (九左衛門) เจ้าของร้านสึคุนิยะรุ่นที่สอง มารดาไม่ทราบชื่อมาจากหมู่บ้านวาระชินะ (藁科村) เป็นธิดาของชายชื่อ เทราโอะ โซดายุ (寺尾惣太夫)

ร้านทสึโนะคุนิยะตั้งอยู่ทางใต้ของวัดโฮชินจิ (報身寺) เจ้าของร้านรุ่นที่หนึ่ง คิวเฮจิ (九平次) ปู่ของนางามาสะ เสียชีวิตในวันที่ 9 เดือน 5 ปีเคโจที่ 14 (ค.ศ. 1609/พ.ศ. 2152)

เจ้าของร้านรุ่นที่สอง คิวซาเอมง บิดาของนางามาสะ เสียชีวิตในวันที่ 9 เดือน 6 ปีคันเอที่ 20 (ค.ศ. 1643/พ.ศ. 2186)

หนังสือบางเล่มอ้างว่า คิวเฮจิไม่มีบุตรชาย จึงรับคิวซาเอมง ชาวเมืองอิเสะ (伊勢) ซึ่งทำงานอยู่ในศาลเจ้าอิเสะ (伊勢神宮) เป็นบุตรบุญธรรม ส่วนมารดาของนางามาสะเคยแต่งงานกับชายเมืองโอวาริ (尾張) และมีลูกชายคือนางามาสะ หลังจากสามีคนแรกเสียชีวิตนางจึงกลับมาอยู่บ้านเดิมแล้วแต่งงานใหม่กับคิวซาเอมง

ต่อมานางามาสะได้ย้ายไปอยู่ที่แคว้นนุมาซุ (沼津) ทางตะวันออกของซุมปุ ซึ่งอยู่ในเขตจังหวัดซุรุงะเหมือนกัน

สาเหตุที่นางามาสะย้ายไปทำงานที่นุมาซุ สันนิษฐานว่าเป็นผลจากความเปลี่ยนแปลงทางการเมืองหลังสงครามเซกิงาฮาระ (関ヶ原の戦い) ใน ค.ศ. 1600 (พ.ศ. 2143) ซึ่งเป็นการแย่งชิงอำนาจระหว่างขุนศึกฝั่งตะวันออกที่สนับสนุนโทกุงาวะ อิเอยาสุ (徳川家康) กับขุนศึกฝั่งตะวันตกที่สนับสนุนตระกูลโทโยโทมิ ฝ่ายตะวันออกได้รับชัยชนะเป็นเหตุให้โทกุงาวะ อิเอยาสุ ได้ขึ้นเป็นโชกุน กลายเป็นผู้ปกครองญี่ปุ่นโดยพฤตินัย ญี่ปุ่นเข้าสู่สมัยเอโดะที่มีความสงบสุขยาวนานถึง 250 ปี

ในปลายยุคเซ็นโงคุ เมืองซุมปุบ้านเกิดนางามาสะเป็นศูนย์กลางของจังหวัดซุรุงะซึ่งอยู่ในอำนาจของตระกูลอิมางาวะ แล้วตกเป็นของตระกูลทาเกดะ ภายหลังจึงตกเป็นของโทกุงาวะ อิเอยาสุ

ต่อมาเมื่อโทโยโทมิ ฮิเดโยชิรวมแผ่นดินได้สำเร็จ ได้บังคับให้อิเอยาสุสละดินแดนในปกครองแลกกับหัวเมืองในคันโต แคว้นซุรุงะจึงตกไปอยู่กับฮิเดโยชิแทน

เมื่ออิเอยาสุได้รับชัยชนะในสงครามเซกิงาฮาระ จึงย้ายผู้ปกครองเมืองซุมปุที่ตระกูลโทโยโทมิตั้งออกไป แล้วตั้ง ไนโต โนบุนาริ (内藤信成) น้องชายต่างมารดาเป็นไดเมียวแห่งแคว้นศักดินาซุมปุ (駿府藩) แทน ศักดินาที่แคว้นซุมปุถูกลดลงจาก 145,000 เหลือเพียง 40,000 โกกุ (石 ปริมาตรข้าวสำหรับเลี้ยงคน 1 ปี)

มีการวิเคราะห์ว่าครอบครัวของนางามาสะอาจได้รับผลกระทบจากภาวะทางเศรษฐกิจที่เปลี่ยนแปลงไป จึงทำให้นางามาสะย้ายไปอยู่ที่แคว้นนุมาซุ ที่ปกครองโดย โอคุโบะ จิเอมง ทาดาสึเกะ (大久保治右衛門忠佐) หนึ่งในสิบหกขุนพลเทพของโทกุงาวะ (徳川十六神将) ซึ่งมีความดีความชอบในสงครามเซกิงาฮาระ จนได้รับแต่งตั้งเป็นไดเมียวแห่งแคว้นนั้น

เอกสาร “อิคโคคุ นิกกิ” (異国日記) หรือ “จดหมายเหตุต่างแดน” เรียบเรียงโดย อิชิน ซูเด็น (以心崇伝) พระภิกษุผู้ใหญ่นิกายเซ็นสำนักรินไซ (臨済宗) ซึ่งได้รับมอบหมายจากโทกุงาวะ อิเอยาสุ ให้รับผิดชอบกิจการต่างประเทศ ได้บันทึกประวัติของนางามาสะว่า ก่อนหน้าที่จะเดินทางไปสยาม เขาเคยเป็น “โรกุชากุ” (六尺) หรือคนหามเกี้ยวให้ โอคุโบะ จิเอมง ทาดาสึเกะ  ไดเมียวแห่งแคว้นนุมาซุ 

ไม่ปรากฏหลักฐานชัดเจนว่านามางาสะทำงานหามเกี้ยวเป็นเวลานานเท่าใด แต่โอคุโบะ ทาดาสึเกะเสียชีวิตใน ค.ศ. 1613 (พ.ศ. 2156) โดยไม่มีทายาทชาย ทำให้รัฐบาลตระกูลโทกุงาวะดึงแคว้นนุมาซุกลับไปปกครองเองโดยไม่มีการตั้งไดเมียวอีกเป็นเวลานาน การสูญเสียเจ้านายของนามางาสะอาจเป็นสาเหตุหนึ่งที่ทำให้เขาตัดสินใจเดินทางออกจากญี่ปุ่นไปยังต่างประเทศ

อีกสาเหตุหนึ่งอาจเพราะการพาณิชย์นาวีของญี่ปุ่นกับเอเชียตะวันออกเฉียงใต้ในเวลานั้นกำลังเฟื่องฟูอย่างมาก เป็นเหตุให้นางามาสะเดินทางไปค้าขายยังต่างประเทศเพื่อแสวงหาความเจริญก้าวหน้าให้ตนเอง

นักประวัติศาสตร์ญี่ปุ่นวิเคราะห์ว่านางามาสะอาจจะเดินทางไปสยามในประมาณ ค.ศ. 1612 (ค.ศ. 2155) ต้นรัชกาลสมเด็จพระเจ้าทรงธรรม โดยพิจารณาจากหลักฐานดัตช์ที่ระบุว่าบุตรชายของยามาดะมีอายุ 18 ปี ในต้น ค.ศ. 1630 (พ.ศ. 2173) โดยมีสมมติฐานว่าหากบุตรชายคนนี้เกิดในสยาม ยามาดะน่าจะเดินทางมาในช่วงเวลาดังกล่าว

ในช่วงต้นคริสต์ศตวรรษที่ 17 การพาณิชย์นาวีของญี่ปุ่นอยู่ในภาวะเฟื่องฟูภายใต้การควบคุมของรัฐบาลโชกุนโทกุงาวะ รัฐบาลญี่ปุ่นได้ออก “ชูอินโจ” (朱印状) หรือ “ใบเบิกร่องประทับตราแดง” เป็นใบอนุญาตให้สำเภาญี่ปุ่นไปทำการค้ากับจีนและเอเชียตะวันออกเฉียงใต้

สำเภาที่ได้รับใบอนุญาตนี้จึงถูกเรียกว่า “ชูอินเซ็น” (朱印船) หรือ “สำเภาประทับตราแดง” จึงมีพ่อค้าชาวญี่ปุ่นเดินทางไปค้าขายที่ต่างประเทศจำนวนมาก โดยมีสยามเป็นหนึ่งในนั้น
การเจริญสัมพันธไมตรีระหว่างกรุงศรีอยุทธยากับรัฐบาลตระกูลโทกุงาวะอย่างเป็นทางการเริ่มต้นในรัชกาลสมเด็จพระเอกาทศรถ ส่งผลให้การค้าระหว่างสยามกับญี่ปุ่นมีความเฟื่องฟูมากขึ้น

นอกจากพ่อค้าชาวญี่ปุ่นที่เข้ามาทำการค้าแล้วยังมี “โรนิน” (浪人) หรือซามูไรที่สูญเสียเจ้านายในสงครามเซกิงาฮาระได้โดยสารสำเภาญี่ปุ่นมายังสยามเพื่อแสวงหาชีวิตใหม่จำนวนมาก ประกอบกับนโยบายกดขี่ศาสนาคริสต์ของรัฐบาลโทกุงาวะ ทำให้ชาวญี่ปุ่นที่นับถือศาสนาคริสต์ถูกเนรเทศหรือต้องอพยพลี้ภัยเข้ามายังสยามจำนวนมาก เป็นเหตุให้มีชาวญี่ปุ่นจำนวนมากตั้งรกรากอยู่ในสยามโดยรวมตัวกันก่อตั้งชุมชนของตนขึ้นทางใต้ของเกาะเมืองอยุทธยา มีชื่อเรียกในภาษาไทยว่า “บ้านญี่ปุ่น”