ไปค้นมาใน google ก็พบว่ามีคนถามคำถามประมาณนี้เยอะเหมือนกัน ที่อ่านมาในประเทศเมืองหนาวก็เป็น เช่น รู้สึกน้ำในบ่อหรือน้ำในแม่น้ำอุ่นในหน้าหนาวแต่รู้สึกว่าน้ำมันเย็นในหน้าร้อน
https://www.google.com/search?q=why+water+warm+in+winter&oq=why+water+warm+in+winter

ที่อ่านมาได้คำตอบประมาณว่า น้ำมีอุณหภูมิคงที่หรือเปลี่ยนไม่มาก ในหน้าหนาวอุณหภูมิของอากาศเย็นกว่าอุณหภูมิของน้ำทำให้เรารู้สึกว่าน้ำอุ่น แต่ในหน้าร้อนอุณหภูมิอากาศสูงกว่าอุณหภูมิน้ำทำให้เรารู้สึกว่าน้ำเย็น

ถ้ามันเป็นอย่างนี้แล้ว ที่เราเห็นคนลงไปแช่น้ำตอนหนาวๆ ที่น้ำเป็นน้ำแข็ง ตอนลงไปคงจะรู้สึกอุ่นทำให้ลงไปแช่ได้สินะ

ในนี้มีคนอธิบายไว้
https://www.quora.com/Why-is-ground-water-warm-during-winters-and-cool-during-summers

ส่วนลิงค์นี้มีอธิบายว่าทำไมอุณหภูมิน้ำถึงไม่ค่อยเปลี่ยนแปลงมาก
https://www.newsncr.com/knowledge-utility/why-is-the-river-pond-water-cold-in-summer-and-hot-in-winter-is-this-the-science-behind-it/
ตามที่เข้าใจนะมันเพราะว่าน้ำมันต้องใช้ปริมาณพลังงาน ถึงอากาศจะร้อนแต่พลังงานความร้อนจากอากาศก็ไม่ทำให้น้ำมีอุณหภูมิสูงขึ้นมาก ส่วนหน้าหนาวถึงอากาศจะหนาวจัดแต่อุณหภูมิของน้ำก็ไม่สามารถต่ำกว่าจุดเยือกแข็งได้ทำให้อุณหภูมิของน้ำสูงกว่าอากาศ และนั่นก็ทำให้เราเห็นไอน้ำที่ผิวน้ำตอนหน้าหนาวเพราะอุณหภูมิของน้ำกับอากาศที่ต่างกันทำให้มันเป็นไอ