Tienes que poner en opensetup la misma resolución que usas en tu monitor, siendo la máxima de opensetup.
Si sigue sin funcionar, coloca la resolución de pantalla como la tenias. En opensetup configura la resolución a 1280*768*16 y desactiva las casillas "Enable Fog", "Use Lightmap" y "VooDoo3 graphics card installed".
Si desactivas la casilla "Play in Full Screen" se ejecutará en modo ventana. Recuerda ejecutar el opensetup en modo administrador si usas Windows Vista o 7.