Hola Darkhorus, yo escribí ayer porque tenía el mismo error, pero en Windows 7, leyendo por ahí, dice que si usas Windows 8 puede probar ejecutando en modo de compatibilidad, si no sirve, puede hacer lo que yo encontré en internet.
-Revisa que los drivers de la tarjeta de video estén actualizados a la última versión disponible
-Fíjate que tengas DirectX instalado en su última versión
-Busca y ejecuta el archivo "dxdiag.exe", cuando se abre la ventana del mismo, vas a la pestaña de "Display" y te fijas que en "DirectDraw Acceleration", "Direct3D Acceleration" y "AGP Texture Acceleration" diga "Enabled" al lado
-Si no dice "Enabled" en los tres, busca y ejecuta el archivo "regedit.exe", una vez abierta la ventana, vas a la dirección "HKEY_LOCAL_MACHINE/SOFTWARE/Wow6432Node/Microsoft/DirectDraw" y buscas el archivo llamado "EmulationOnly", le das doble click y en la ventana que sale, en la casilla "Value Data" pones un 0, o sea cambias el 1 por un 0, le das ok y cierras la venta del registro
-Vuelves a buscar y ejecutar el archivo "dxdiag.exe", y en la misma pestaña de "Display", las opciones que se mencionan arriba tienen que estar todas en "Enabled" después del cambio
-Ejecutas el setup de RO y ya te tiene que salir la opción de tu tarjeta de video y la resolución
Espero que te funcione como a mi.
Si el error persiste, comenta y seguiremos buscando como ayudarte.