แม้ว่าสุลต่านอิบราฮีม จะเป็นผู้ที่สนิทสนมกับราชวงศ์อังกฤษ แต่กับอาณานิคมอังกฤษแล้วนั้น พระองค์กลับไม่ค่อยอยากให้พวกเขาเข้ามาก้าวก่ายเลย
อย่างไรก็ตาม หลังจากยินยอมให้อังกฤษเข้ามามีบทบาทในการพัฒนารัฐมากขึ้น สุลต่านก็ถูกลดบทบาทลง ขณะที่สุขภาพพลานามัยพระองค์เริ่มแย่ลง
เมื่อใดที่ก็ตามที่พระองค์รู้สึกว่าถูกอาณานิคมบีบบังคับมากเกินไป ก็จะเสด็จไปอังกฤษเพื่อเรียกร้องรัฐบาลอังกฤษขอให้อาณานิคมลดการบีบคั้นลงไป
หากบางครั้งรู้สึกว่าถูกก้าวก่ายมากเกินไป พระองค์ก็จะไม่ยอมรับหรือปฏิเสธการเข้าร่วมมือกับอังกฤษไปชั่วขณะ เช่น การไม่เสด็จประชุมเจ้าผู้ครองรัฐ
ถึงกระนั้น ด้วยความสัมพันธ์ระหว่างราชวงศ์ของยะโฮร์และอังกฤษ ทำให้ยะโฮร์ ยังไม่สามารถละทิ้งการเป็นรัฐอารักขาของอังกฤษหรือได้ต่อต้านใดๆ

อย่างไรก็ตาม พระราชโอรสบุญธรรม อนน์ จาฟาร์ เริ่มกลายเป็นตัวต้นตัวตีของชาตินิยมมลายูในเวลานั้น ทำให้เกิดความสัมพันธ์ที่ตึงเครียดต่อสุลต่าน
อนน์ จาฟาร์ เขียนบทความวิพากษ์วิจารณ์เรื่องราวในรัฐยะโฮร์อยู่บ่อยครั้ง จนทำให้ครั้งหนึ่ง สุลต่านอิบราฮีมต้องขับไล่พระโอรสองค์นี้ออกจากยะโฮร์
อย่างไรก็ตาม อนน์ จาฟาร์ เป็นที่ชื่นชอบของประชาชนเป็นอย่างมาก ด้วยความกดดันบางอย่าง ทำให้สุลต่านอิบราฮีมต้องเชิญเขากลับไปในปี 1936
เมื่อสงครามโลกครั้งที่ 2 ปะทุขึ้น รัฐบาลอาณานิคมประกาศเรียกร้องให้มีการจัดเก็บภาษีสงครามเพื่อใช้ในการสงครามขึ้น สุลต่านอิบราฮีมทรงปฏิเสธ
แต่ทว่า สุลต่านอิบราฮีม ทรงนำเงินจำนวน 250,000 ปอนด์ มอบให้กับสมเด็จพระเจ้าจอร์จที่ 6 เนื่องในโอกาสวันพระราชสมภพครบรอบ 44 พรรษา

ในช่วงที่ญี่ปุ่นยึดครองแหลมมลายู สุลต่านอิบราฮีม ทรงสนิทสนมกับผู้นำทหารญี่ปุ่นเป็นพิเศษ โดยเฉพาะ Tokugawa Yoshichika ที่สนิทกันมานาน
ด้วยเหตุดังกล่าว เมื่อญี่ปุ่นยึดครองแหลมมลายู สุลต่านอิบราฮีม ทรงให้การต้อนรับญี่ปุ่นเป็นอย่างดี พร้อมทั้งให้ที่พักรับรองเพื่อเตรียมบุกสิงคโปร์ต่อ
ความสัมพันธ์ระหว่างสุลต่านกับญี่ปุ่นแน่นแฟ้นเหมือนเคย จนถึงขั้นว่าญี่ปุ่นจะรวมแหลมมลายูและยกให้สุลต่านอิบราฮีมเป็นกษัตริย์ของมลายูไปเลย
อย่างไรก็ตาม ญี่ปุ่นประสบปัญหาทางเศรษฐกิจ และกลายเป็นว่าท่าทีของญี่ปุ่นในช่วงปลายต่อสุลต่านจะเลวร้ายขึ้นเรื่อยๆ และไม่ต่างกับอังกฤษนัก
ช่วงหลังญี่ปุ่นถึงกับตำหนิสุลต่านว่าต้องพยุงธารพระกรต่อหน้าทหารญี่ปุ่น และท้ายสุดญี่ปุ่นถึงกับขับไล่สุลต่านออกไปจากพระราชวังของพระองค์

หลังจากที่อังกฤษสามารถกลับมาปกครองมลายูได้ต่อ สุลต่านอิบราฮีมทรงระบายความคับแค้นพระทัยต่อญี่ปุ่น และมีท่าทียินยอมต่ออังกฤษมากขึ้น
สุลต่านอิบราฮีม ยินยอมให้อังกฤษเข้ามามีอำนาจควบคุมยะโฮร์มากขึ้นและมากกว่าที่เคยมี ทำให้ชาวมลายูในยะโฮร์จำนวนหนึ่ง แสดงท่าที่ไม่พอใจ
เดือนกุมภาพันธ์ 1946 ชาวมลายูจำนวนหนึ่ง ได้ประท้วงต่อต้านการตัดสินพระทัยของสุลต่านอิบราฮีม โดยถึงกับเรียกร้องให้พระองค์สละบัลลังก์เลย
อนน์ จาฟาร์ ตัดสินใจประกาศก่อตั้งพรรคอัมโนขึ้นเพื่อแสดงจุดยืนต่อต้านการก่อตั้งสหภาพมลายา ที่เป็นการลดทอนอำนาจของสุลต่านแต่ละรัฐลง
ก่อนที่จะเสด็จกลับจากอังกฤษ สุลต่านอิบราฮีมทรงบริจาคเงินจำนวน 5,000 เหรียญให้กับอัมโน นัยว่าเพื่อต้องการลดความขัดแย้งที่จะเกิดขึ้นซ้ำอีก

ในช่วงที่มาเลเซียกำลังจะประกาศเอกราชนั้น สุลต่านอิบราฮีม ทรงแสดงความกังวลพระทัยอย่างมากที่จะรวมยะโฮร์เข้าเป็นรัฐส่วนหนึ่งของมาเลเซีย
ทรงแสดงท่าทีชัดเจนว่าไม่ต้องการเข้าร่วมกับมาเลเซียในพระราชพิธีครบรอบ 60 ปีการขึ้นครองราชย์ ส่งผลให้เกิดกลุ่ม PKMJ เพื่อพยายามแยกตัว
อย่างไรก็ตาม หลังจากนั้นเป็นต้นมา ด้วยสุขภาพพลานามัย สุลต่านอิบราฮีมทรงมีท่าทีอ่อนลง และมอบหมายพระราชกรณียกิจให้ตุนกูอิสมาอิลแทน
สุลต่านอิบราฮีมทรงเกษียณจากการบริหารรัฐและดำรงพระชนม์ชีพที่เหลืออยู่ในอังกฤษ โดยยังคงตำแหน่งสุลต่านจนกระทั่งเสด็จสวรรคตในปี 1959
ภายหลัง ทรงได้รับการอวยพระสมญานามย้อนหลังว่า สุลต่าน อิบราฮีม อัล-มาชฮูร์ หรือ สุลต่าน อิบราฮีม ผู้ยิ่งใหญ๋ โดยสุลต่านอิสกันดาร์ พระนัดดา