Der eAccelerator schien das Problem zu sein. Ohne wurde es deutlich schneller. Mit dem Einbau von APC und dem Umstieg auf mysqli wurde das Forum noch schneller. Aber irgendwie gibt es noch eine Bremse...
...hatte ich doch recht mit eAccelerator
MySQL ist dort definitiv kein Problem, eventuell komischer PHP-Code (Rekursionskram oder so...)