[StefanT]

Die Konfiguration scheint meiner Meinung nach korrekt.

Wenn weder die DNS-Auflösung noch PHP mail() funktionieren, ist da definitiv serverseitig etwas falsch konfiguriert. Das MyBB kann nicht richtig funktionieren, wenn essenzielle Systemfunktionen nicht zur Verfügung stehen.

Ohne deine Konfiguration zu kennen, können wir leider auch keine konkreten Tipps geben. Du betreibst PHP wohl nicht in einem chroot (da kommt es bei falscher Einrichtung zu solchen Problemen)?
Bei serverseitigen Problemen kann man dir wahrscheinlich in einem darauf spezialisiertem Forum, wie z.B. dem ServerSupportForum besser weiterhelfen...