Совершенно верно! Существует много вариантов Java-машин, есть зависимость

Совершенно верно! Существует много вариантов Java-машин, есть зависимость от качества компилятора, разные дистрибутивы могут иметь свои особенности, но для того и существуют тесты, чтобы сравнивать разные варианты и выбирать лучшие. NIOBench, как java-приложение, даёт большую свободу именно в оценке того многообразия операционных сред, которое сложилось на сегодня. В силу того, что наш тест интегральный по определению (JVM + ОС), зависимость от JVM нормальный и ожидаемый факт.

Кэширование дисковых данных в оперативной памяти, которое, как мы все понимаем, повышает скорость при повторных обращениях к файлу, доставляет хлопоты с точки зрения повторяемости результатов бенчмарок. Доверие к таким результатам строится на основе открытости алгоритмов и расчетной базы. С этим у нас все в порядке: тест использует респектабельный фреймворк java.NIO, а промежуточные результаты тоже никто не скрывает:

Ubuntu vs Windows в дисковых операциях