Tienes que poner en opensetup la misma resolución que usas en tu monitor, siendo la máxima de opensetup 1280*768*16.
Si sigue sin funcionar, coloca la resolución de pantalla como la tenias. En opensetup configura la resolución a 1280*768*16 y desactiva las casillas "Enable Fog", "Use Lightmap" y "VooDoo3 graphics card installed".
Si desactivas la casilla "Play in Full Screen" se ejecutará en modo ventana. Recuerda ejecutar el opensetup en modo administrador si usas Windows Vista o 7.