เมื่อวานนี้ Google ได้ทำการปล่อยฟีเจอร์ Night Sight ที่ช่วยยกระดับคุณภาพภาพที่ถ่ายตอนกลางคืนให้สวยงามกว่าเดิมแก่ Google Pixel ทุกรุ่น และได้อัปเดตบล็อกเพื่อเล่าเรื่องราวเกี่ยวกับการทำงานของฟีเจอร์นี้และอุปสรรคที่เจอระหว่างการพัฒนา มาดูกันว่าเป็นอย่างไรบ้าง



ทำไมการถ่ายรูปในที่แสงน้อยถึงเป็นเรื่องยาก
การถ่ายรูปในที่แสงน้อยมักมีสิ่งที่มากวนใจคือ Noise เจ้า Noise คือจุดๆ สีที่ไม่ต้องการที่โผล่เข้ามาในภาพ ทำให้ภาพไม่สวย โดย Noise มีอยู่ 2 ชนิด

1.Shot noise เกิดจากความแปรผันตามธรรมชาติของโฟตอนที่เข้ามาในเซ็นเซอร์รับภาพ กล้องทุกชนิดต้องเจอกับ Noise ชนิดนี้หมด
2.Read noise เกิดจากการแปลงค่าแสงที่กระทบเซ็นเซอร์เป็นตัวเลขดิจิตอล



เหล่า Noise สามารถวัดโดยใช้ค่า signal-to-noise ratio (SNR) ยิ่งค่า SNR มาก Noise ก็จะมากตาม ซึ่งค่า SNR นั้นแปรผกผันกับความเร็วชัตเตอร์ หมายความว่า ยิ่งเราเปิดชัตเตอร์นาน Noise ก็จะยิ่งน้อย แต่การเปิดชัตเตอร์นานทำให้ภาพเบลอ ซึ่งเป็นอุปสรรคในการถ่ายรูปในที่แสงน้อย

ในปี 2014 Google ได้นำเสนอเทคโนโลยี HDR+ ที่ใช้เทคโนโลยีกาาคำนวณขั้นสูงนำภาพหลายๆ ภาพที่ถ่ายแบบต่อเนื่องมารวมกันเป็นภาพเดียว ทำให้ได้ภาพที่มี Dynamic Range ดีขึ้น ในขณะเดียวกันมันก็ช่วยลด Noise ด้วย



แล้วแค่ไหนที่เรียกว่ามืด? เวลาช่างภาพคุยกันเรื่องแสงในฉากที่ต้องการถ่าย มักจะวัดกันโดยใช้หน่วย Lux คือยิ่งค่ามาก ก็ยิ่งสว่าง โดย Google ได้เทียบค่าแบบเข้าใจง่ายให้เราไว้ดังนี้

30,000 Lux : ทางเดินตอนกลางวันที่มีแดดส่อง
10,000 Lux : ทางเดินในวันฟ้าเปิด แต่อยู่ในเงา
1,000 Lux   : ทางเดินในวันฟ้าปิด
300 Lux      : แสงในสำนักงานทั่วๆ ไป
150 Lux      : โคมไฟตั้งโต๊ะที่บ้าน
50 Lux       : ไฟในร้านอาหารทั่วๆ ไป
20 Lux       : ไฟในร้านอาหารที่มีการจัดไฟเพื่อสร้างบรรยากาศ
10 Lux       : ความสว่างอย่างน้อยที่สุดที่คุณสามารถหาถุงเท้าที่เข้าคู่กันในลิ้นชักได้
3 Lux          : ทางเดินที่มีแสงจากไฟถนน
1 Lux          : แสงอย่างน้อยที่สามารถอ่านหนังสือพิมพ์ได้
0.6 Lux       : ทางเดินที่มีแสงจากพระจันทร์เต็มดวง
0.3 Lux       : ถ้าทำกุญแจตกไว้บนพื้นก็หาไม่เจอแล้ว
0.1 Lux       : ถ้าจะไปไหนมาไหนก็อย่าลืมพกไฟฉาย

สำหรับกล้องสมาร์ทโฟนที่ถ่ายแค่รูปเดียวจะสามารถถ่ายได้ถึงประมาณ 30 Lux ส่วนสมาร์ทโฟนที่ใช้เทคนิครวมหลายๆ ภาพเข้าด้วยกัน เช่น HDR+ สามารถไปไกลได้ถึง 3 Lux เลยทีเดียว สำหรับฟีเจอร์ Night Sight ทาง Google ต้องการให้สามารถถ่ายรูปที่มีความสว่างเพียง 0.3 Lux โดยไม่ต้องใช้แฟลชช่วย การทำงานของ Night sight มีหลักการทำงานโดยคร่าวๆ ดังนี้

ขั้นตอนการทำงานของ Night Sight

กล้องของ Google Pixel ออกแบบมาโดยยึดพื้นฐาน Zero Shutter Lag หรือก็คือการกดถ่ายภาพปุ๊บได้ภาพทันทีโดยไม่มีการดีเลย์ Pixel ทำได้โดยทำการเก็บภาพล่วงหน้าไว้ในหน่วยความจำชั่วคราวก่อน หลักการทำงานจะคล้ายๆ กล้องติดรถยนต์ที่บันทึกภาพตลอดเวลา พอพื้นที่เต็มก็จะไปลบภาพเก่าเพื่อเก็บภาพใหม่แทน และเมื่อคุณกดชัตเตอร์เมื่อไหร่ เจ้า Pixel จะดึงภาพ 9-15 ภาพล่าสุดมาทำการประมวลผล HDR+ และ Super Res Zoom ซึ่งการทำแบบนี้ทำให้แต่ละภาพถูกจำกัดความเร็วชัตเตอร์เอาไว้ไม่เกิน 66 มิลลิวินาทีต่อภาพ แต่การถ่ายภาพในตอนกลางคืนให้สว่างสดใสต้องการความเร็วชัตเตอร์ที่นานกว่านั้น Google จึงเปลี่ยนมาใช้ Positive Shutter Lag ในโหมด Night Sight ที่จะเริ่มถ่ายภาพก็ต่อเมื่อเรากดชัตเตอร์ และต้องถือกล้องค้างไว้อีกสักครูเพื่อให้กล้องเปิดชัตเตอร์ได้นานขึ้นด้วย



เมื่อเปิดชัตเตอร์นานขึ้น ปัญหาที่ตามมาคือภาพเบลอซึ่งเกิดจากการสั่นของมือและแบบในภาพเคลื่อนไหว แม้ในกล้องของ Pixel 2 และ Pixel 3 จะมีระบบกันสั่นด้วยฮาร์ดแวร์ (OIS) แต่ก็ช่วยได้เพียงนิดหน่อยเท่านั้น เพื่อจัดการเรื่องนี้ Google ได้ใช้เทคนิคที่เรียกว่า Optical Flow เพื่อวัดการเคลื่อนไหวและการสั่นของภาพ จากนั้นจึงคำนวณความเร็วชัตเตอร์ที่เหมาะสมที่จะทำให้ภาพไม่เบลอ โดยสามารถเปิดชัตเตอร์ได้นานถึง 333 มิลลิวินาทีสำหรับภาพที่ไม่มีการเคลื่อนไหวมากเลยทีเดียว นอกจากนั้น Google ยังนำการเคลื่อนไหวของมือมาคำนวนอีกด้วย เช่น หากพบว่ามือถือถูกตั้งอยู่บนขาตั้งกล้อง กล้องจะเปิดหน้ากล้องนานขึ้นสูงสุดถึง 1 วินาทีเลยทีเดียว



จากนั้นกล้องจะนำภาพแต่ละภาพมาเรียงซ้อนกันและเฉลี่ยค่าแสงเพื่อลด Noise เทคนิคนี้เป็นเทคนิคโบราณ เกิดขึ้นมาพร้อมๆ กับระบบภาพแบบดิจิตอลเลยทีเดียว เทคนิคนี้นักถ่ายภาพดวงดาวเรียกว่า Exposure Stacking ซึ่งการโพรเซสภาพนั้นไม่ใช่เรื่องยาก ความยากอยู่ที่การนำภาพมาเรียงซ้อนกันอย่างพอดีและตัดส่วนที่ไม่สามารถซ้อนกันได้ออกไปต่างหาก โดย Google ได้พัฒนาเทคนิคนี้ตั้งแต่ปี 2010 จากแอปที่ชื่อว่า Synthcam แอปตัวนี้จะทำการถ่ายภาพอย่างต่อเนื่องและนำภาพมารวมกันเป็นภาพเดียวแบบ Real-time โดยใช้ความละเอียดต่ำ เพื่อให้ได้ผลลัพธ์เป็นภาพที่สว่างและไร้ Noise สำหรับ Night Sight ขั้นตอนการรวมภาพจะใช้เทคนิคเดียวกับ HDR+ และ Super Res-Zoom โดยทำแบบเต็มความละเอียดภาพ และไม่ Real-time



อีกอุปสรรคที่เจอคือ White Balance สายตามนุษย์นั้นมีความสามารถในการปรับสีให้ถูกต้องสูงมาก แม้จะเป็นการมองผ่านแว่นตากันแดดสีแปลกๆ ก็ไม่มีปัญหาอะไร แต่เมื่อเราถ่ายรูปที่มีภาพแสงอย่างหนึ่ง และนำรูปมาดูในอีกสภาพแสง เราจะเห็นว่ารูปมีการติดสีใดสีหนึ่ง และไม่สวยงาม เพื่อแก้ปัญหานี้ กล้องจึงมีการปรับ White balance ให้เหมือนภาพที่ถูกถ่ายโดยมีแหล่งกำเนิดแสงไปเป็นไฟสีขาว กระบวนการนี้เรียกว่า Auto White Balancing (AWB)

แต่กระบวนการนี้ก็มีปัญหาของตัวเองเช่นกัน เช่น หากภาพถ่ายของเรามีหิมะสีฟ้า เราจะรู้ได้อย่างไรว่าหิมะมีสีฟ้า หรือหิมะมีสีขาว ส่วนสีฟ้ามาจากเงาสะท้อนของท้องฟ้า ในสภาพแสงปกติกล้อง Pixel 0ะไม่พบปัญหานี้ แต่พอเป็นตอนกลางคืนที่มีแหล่งกำเนิดแสงที่มีการติดสีเข้มๆ เช่น หลอดไฟสีเหลือง ปัญหานี้จะแสดงออกมาอย่างชัดเจน

เพื่อแก้ปัญหานี้ Google ได้พัฒนา Learning-Based AWB Algorithm ซึ่งเป็น AI ที่ถูกสอนให้สามารถแยกแยะรูปภาพที่มี White balance ดีกับแย่ออกจากกัน และสามารถแนะนำการปรับสีของภาพให้มี White Balance ถูกต้องได้ กระบวนการสอน AI นี้ทำโดยการนำภาพถ่ายจาก Pixel จากหลายๆ สถานการณ์และสภาพแวดล้อม แล้วให้คนมาปรับ White balance ด้วยมือแล้วนำไปให้ AI เรียนรู้



อีกอุปสรรคคือการทำ Tone Mapping ในภาพ ดวงตาของมนุษย์เวลามองในตอนกลางคืนที่ค่อนข้างมืด เราจะเห็นสีสันน้อยลง แต่ Google ต้องการให้ภาพจาก Night Sight มีสีสันที่สดใสตรงข้ามกับการมองเห็นของมนุษย์

ในอีกด้าน หากเราใช้กล้อง DSLR ถ่ายรูปโดยการเปิดชัตเตอร์นานๆ เราสามารถเปลี่ยนตอนกลางคืนเป็นกลางวันได้เลย ซึ่งไม่ใช่สิ่งที่ Google ต้องการ สิ่งที่ Google ต้องการคือภาพตอนกลางคืนที่มีสีสันสดใส แต่ยังเหมือนภาพที่ถ่ายตอนกลางคืนอยู่



สำหรับวิธีแก้ปัญหานี้ เหล่าศิลปินวาดภาพรู้วิธีแก้ปัญหามาตั้งแต่หลายร้อยปีที่แล้ว



Google จึงใช้ S-curve ในการทำ Tone mapping ในภาพ ซึ่งต้องใช้การปรับที่พอเหมาะพอเจาะระหว่าง สีสันที่สดใสราวต้องมนต์ กับ บรรยากาศแบบตอนกลางคืน



เคล็ดลับการถ่ายรูปด้วย Night Sight
นอกจากนั้น Google ยังได้แนะนำเทคนิคการใช้งาน Night Sight เล็กๆ น้อยๆ ไว้ด้วย

1.Night Sight ไม่สามารถทำงานในที่มืดสนิทได้ ดังนั้นเลือกสถานที่ที่มีแสงบ้างเล็กน้อย
2.แสงนุ่มๆ นวลๆ ให้ผลลัพธ์ที่ดีกว่าแสงแรงๆ แข็งๆ เพราะจะสร้างเงาดำที่วัตถุ
3.ถ้าไม่อยากให้มีแสงแฟลร์ในภาพ พยายามไม่หันกล้องไปทางที่มีแหล่งกำเนิดแสงจ้ามากๆ
4.หากต้องการเพิ่มความสว่างภาพ ให้แตะบนวัตถุที่ต้องการ แล้วดันแถบ Explosure Slider ขึ้น จากนั้นแตะอีกทีเพื่อปิดแถบ
5.หากต้องการลดความสว่างภาพ ให้ถ่ายภาพมาก่อนแล้วค่อยไปปรับในแอป
6.หากมืดเกินจนกล้องโฟกัสไม่ได้ ให้แตะบริเวณขอบของวัตถุที่แสงกระทบ
7.หากยังโฟกัสไม่ได้อีก ให้สลับมาใช้ Manual Focus หากวัตถุอยู่ใกล้เลือก Near(1.2 เมตร) ถ้าอยู่ไกลเกิน 1.8 เมตร เลือก Far
8.เพื่อให้ภาพคมชัดที่สุดเท่าที่เป็นไปได้ ลองตั้งมือถือไว้บนโต๊ะ หรือเอาพิงกับกำแพงเวลาถ่าย
9.Nightsight ใช้กับกล้องหน้าได้ด้วยนะ

Night Sight เป็นฟีเจอร์ที่จะทำให้คุณใช้ Google Pixel ถ่ายภาพกลางคืนได้อย่างสวยงามแบบที่ไม่เคยทำได้มาก่อน แม้ Google จะปล่อยอัปเดต Night Sight ให้กับ Pixel 1 และ Pixel 2 แต่ฟีเจอร์นี้ถูกปรับแต่งมาให้เหมาะสมกับ Pixel 3 มากที่สุดทั้งด้านคุณภาพและความเที่ยงตรงของสี ดังนั้นผู้ใช้ Pixel 3 จะได้ผลประโยชน์จากฟีเจอร์นี้มากที่สุด

ที่มา https://www.bacidea.com/2018/11/night-sight-google-pixel.html