А какой монитор? Может он выше не держит,

А какой монитор? Может он выше не держит, видел такое, при разрешении выше 640х480 моник двоил изображение (а он больше по спецификации не держал). Так же проверь сигнальный кабель от монитора к видеокарте (на предмет передавливания/перекручивания). Да и не плохо было бы проверить на другом мониторе. ИМХО дело в мониторе а не в видяхе.