Запустить xvidtune, подобрать параметры, жамкнуть Show, прописать получившийся ModeLine в /etc/xorg.conf
Или проще:
gtf 1280 1024 75
# 1280x1024 @ 75.00 Hz (GTF) hsync: 80.17 kHz; pclk: 138.54 MHz
Modeline "1280x1024_75.00" 138.54 1280 1368 1504 1728 1024 1025 1028 1069 -HSync +Vsync