метод тыка здесь непрокатит, шей вот этими значениями
Modeline для VGA "800x480" 32,320 800 840 968 1056 480 481 484 505 -hsync -vsync
для HDMI 800 480 323 600 1056 505 256 25

и будет счастье