Y dale con los benchmarks …
En un post anterior daba mi opinión sobre el tema de los benchmarks o pruebas de rendimiento. Mi opinión no ha cambiado desde entonces: sigo sin creer en ellas. Pero con la edad voy pasando por alto algunas cosas y, digamos que me he vuelto un blando ;)
Esta vez no voy a hablar en contra de los benchmarks en general sino en concreto unas pruebas que he visto en Internet. Obviamente, es una opinión lo que voy a escribir. No es la verdad absoluta ni el camino hacia la luz y el conocimiento verdadero.
Como os decía, he visto un benchmark de Phoronix que me ha llamado la atención. Me ha llamado la atención porque están probando diversas distribuciones de Linux en un Netbook. Hasta ahí bien. Lo que me llama la atención es que hagan pruebas del tipo:
- OpenArena a 1024×600: ¿alguien va a jugar al OpenArena en un Netbook? Ya, ya sé lo que me vais a decir: “Es para ver el rendimiento de la tarjeta gráfica con software 3D (juegos, en este caso)”. Eso ya lo sé, pero no es realista. Todo el mundo sabe que un Netbook NO es para 3D ni para juegos. ¿Realmente de qué sirve esta prueba? Para nada.
- iozone y postmark: aquí pasa algo por el estilo. ¿Para qué vamos a hacer un benchmark del disco duro de un netbook? ¿Acaso vamos a montar un servidor NAS de alto rendimiento con nuestro Netbook? Yo creo que no. Hombre, por poder, se puede, pero eso de que vaya a ser de alto rendimiento … ;)
- dcraw: vale, hay gente que usa el Netbook para descargar las fotos de su cámara digital y ya de paso las pasa a otro formato, ¿y? ¿Alguien espera ver unos números que te dejen boquiabierto? Nopes. La diferencia entre el mejor caso (129.81 segundos) y el peor caso (134.05 segundos) es de ~4 segundos. No veo caras de asombro.
- codificación de vídeo y audio (wav to ogg, AVI to NTSCD, H.264): ¿alguien usa un Netbook para codificar vídeo y/o audio? Pues si lo hace … que no espere grandes resultados ni grandes diferencias entre un sistema y otro.
A lo que me refiero es que estas pruebas no dan datos interesantes sobre una distro en un Netbook. Un Netbook no se usa para dichos menesteres … Corrijo, un Netbook no se debería usar para dichos menesteres. Es como leer una revista de motos y ves que comparan la velocidad de 4 scooters en un circuito de Fórmula 1 o en un circuito de Rallies. Una scooter no ha sido diseñada ni construida para eso, luego esa comparativa no me vale de nada a efectos prácticos de la vida real. Que comparen el consumo en ciudad, el peso, la potencia, …
Sí me ha gustado ver otro tipo de pruebas:
- 1080p H.264 Video Playback: esto sí es más realista ya que la gente que viaja ve pelis o series en su netbook y está interesado en saber si va a haber saltos o no, por ejemplo. Obviamente, no es que vean pelis y/o series las 24 horas del día, pero cuando tienes un viaje y no te apetece trabajar (lo cual suele ocurri siempre), te pones a ver una peli.
- Battery Power Usage: esto SÍ es importante, especialmente cuando estás viajando y no puedes conectar el Netbook a la toma eléctrica. ¿Cuánto me va a durar la batería? ¿Voy a poder ver la peli entera? Algunos se preguntarán si pueden responder a todos sus e-mails, … pero eso consume menos batería ;)
- System Temperature Monitoring: sí estoy de acuerdo con esta prueba, pero no en cómo se ha hecho. para medir la temperatura, se ha lanzado la prueba de ffmpeg, 7-zip y OpenArena. Sí estoy de acuerdo en que se haga porque es muy interesante saber si se calienta mucho o no, pero no estoy de acuerdo con las pruebas utilizadas. Vamos a ver, un Netbook no se pone al 100% como si fuera un nodo de render. El consumo máximo lo tienes puntualmente (si estás, por ejemplo compilando) o también puedes tener una carga alta viendo una peli. Ya, se quiere saber hasta dónde se calienta, pero vuelvo a lo de antes, no es una medición real en un mundo Netbook. Se tendría que haber medido con la reproducción de vídeo o reproduciendo algún fichero de audio, que es lo “normal”.
- Battery Monitor: ocurre lo mismo que en el caso anterior. Lo tendrían que haber medido en casos de uso normal de Netbook, no en casos extremos.
En fin, que lo que quiero no es criticar el trabajo de Phoronix, que me parece interesante que hagan lo que están haciendo y lo aplaudo, sino que tengáis cuidado a la hora de leer benchmarks. Recordad que un benchmark tiene que tener algún sentido y se tiene que entender por qué se ha hecho.
Related posts:
- Phoronix Test Suite 2.8, benchmarks para todos
- Dale un aspecto Android a tu escritorio GNOME
- Mentiras, malditas mentiras y benchmarks
- Las 5 mejores distribuciones para Netbooks según Linux.com
- Consigue la interfaz del HP Mini Mi en Ubuntu
Yo los benchmark en linux los veo muy pero muy positivos al contrario que tu, ya que siempre he visto lentos algunso programas versus a como funcionan en windows, drivers graficos mal hechos que funcionan lento, distribuciones mal optimizadas, etc. Si tu dice en un foro que Ubuntu r ejemlpo te funciona lento en tu PC te dice que ellos no tiene problemas y que les funciona bien. En linux les interesa que simplemente funcione, a mi me gusta que funcione bien.
Tengo un PC amd duron de 1600 mhz con una potencia un poco menor a la de un atom, y ya no se puede usar con ubuntu, es demasiado lento, para su viejo Hardware ya no hay buenos drivers sin embargo con windows XP vuela al lado de Ubuntu.
Para mi probar en una hardware un poco mas viejo demuestra las fallas en un grado más apreciable, ya que en u ncore 2 duo que tengo ubuntu vuela, pero en un AMD athlon 64 3000+ con nvidia 8400, el procesador se satura algunas veces y se entrecortan las animaciones de compiz y se siente mas pesado que la instalacion de XP y esop que ya es un PC bastante superior a un ATOM.
EN windows si no fuera por los benchmark , no podria decidir si comprar un Notebook verssus otro, si uno tiene UNa grafica X y versus otra, me interesa saber cual rinde mas, aun que noo vaya a jugar, yo todavia soy de los que se compra los pc por potencia, no por uso, ademas un netbook no se me hace demasiado portatil, para eso prefieron un Iphone o un N900 para navegar por todos lados
saludos
si considero que buenos los benchmarks con casos extremos, pero te concedo eso de que phoronix siempre agrega benchmarks inútiles, (el de 3d esta bueno para un escritorio tipo kde4), pero permíteles ese lujo, en el test suit PTS que usan, agregar un benchmark en batch, es cuestión de un tilde, y la gente de phoronix se entusiasma con eso… un saludo.
Tienes mucha razón, yo soy de la misma opinión, no me gustan mucho los benchmarks. Pero además cuando se hacen pruebas tan “estúpidas” como las que comentas al principio me quedo pensando: ¿no tendrán nada mejor que hacer estas personas?Porque si es así les paso alguno de mis trabajos a ver si me echan una mano ; ) .
A ver cada uno testea lo que le pasa por…
Se trata de testeos y cada uno lo hace a su manera, no se pueden comparar benchmarks de intel y AMD xk kada uno lo hace a su estilo favoreciendo sus puntos fuertes.
Si está tan mal xk no haces tu un benchmarcks?
salu2
ya… que ni siquiera tienes en cuenta que lo que se mide es el Sistema operativo también. OJO no esta destinados solamente a usuarios finales el PTS… pensad.
@Alex: no he dicho que no creo que son positivos los benchmarks, digo que hay que tener cuidado y que hay que saber lo que se está midiendo/analizando, que es algo muy distinto. Me parece muy bien que quieras comparar el rendimiento de un Netbook y otro, pero tienes que tener en cuenta el funcionamiento que se le va a dar. ¿Vas a jugar al Quake/OpenArena/otro_juego? Entonces, ¿qué mas te da el rendimiento que te dé el benchmark? Un Netbook _NO_ es para jugar, nos guste o no, luego un benchmark en el que se analiza el comportamiento de un Netbook con un juego no sirve para nada. Por eso digo que _SÍ_ me parece más lógico que se hagan benchmarks de consumo de batería, temperatura, …
Los benchmarks, sean de equipos informáticos, motos, bolígrafos o relojes hay que hacerlos en un entorno REAL de USO. De nada me vale un análisis de un reloj cuando lo someten a 3000 metros buceando si yo no buceo. De nada me sirve que me comparen el consumo de un coche en un circuito de rallies cuando el coche es un 2 caballos. Seamos realistas y no interpretemos. Yo no he dicho que los benchmarks no sean útiles, he dicho que hay que tener cuidado al leer los benchmarks que se publican.
@etnos: _NO_ he dicho que estén mal. He dicho que algunas de las pruebas no tienen razón de ser porque los Netbooks no se usan para dichas tareas. No interpretéis. Por cierto, en mi trabajo me dedico a hacer y analizar benchmarks.
@Sergio: no he tenido en cuenta que se analiza el sistema operativo porque da igual el sistema operativo porque es lo de menos. Me refiero a que sí tendría en cuenta el sistema operativo si el benchmark de OpenArena (por poner un ejemplo) se hiciera en un equipo orientado a tal fin, es decir con una tarjeta NVIDIA o ATI orientada al mercado de juegos. En ese tipo de computadora te interesa saber si las X, MESA, el driver, … da mejor rendimiento o no.
“Curiosamente”, los Netbooks _NO_ están orientados a dicho mercado, luego me da igual el sistema operativo en ese benchmark, es más, ese benchmark me da igual porque el Netbook _NO_ está diseñado para eso.
Volviendo al ejemplo del reloj, me da igual si las pruebas de bajar a 3000 metros con el reloj se hagan en agua dulce o salada porque yo NO voy a bajar a esas profundidades. En el ejemplo del coche, me da igual si comparan un motor gasolina o uno diésel si es un 2 caballos y están corriendo en un circuito de Rallies.
Os estáis desviando de lo importante: ¿a qué mercado se orienta un Netbook? Pues los benchmarks deberían ser con aplicaciones que se usan en dichos mercados y no en otros. Correr el benchmark del OpenArena en un Netbook es como correrlo en un servidor: no me da información útil.
No lo había visto nunca desde ese punto de vista, me parece una opinión interesante. Aunque los netbooks no son mi fuerte, si que deberían ser testeados de un modo más realista.
Una prueba que podria nacer el la revoluciones de los ventiladores y el sonido que sacan que es algo iportante
Los datos que presentan las pruebas sirven para tener referencias.
Me parece increible que no creas en los bechmarks. La tecnología forma parte de la ciencia y en esta se hacen experimentos y pruebas. Tambien se prueban los coches cuando se fabrican, o las lavadoras, o los aviones, etc… En la ciencia no se opina, se demuestran las cosas. Puedes opinar que prefieres usar Moblin en tu netbook, que Ubuntu, pero no puedes decir que rinda mejor uno u otro sin demostrarlo, y por eso se hacen estas pruebas. Yo por eso me rio de los debates “¿Es mejor linux que windows?” Yo no veo debate, solo hay que demostrar cual es mejor y punto.
@Manuel: Creo que ha quedada muy clara la opinión de trash, él no dice que no crea en los benchmarks (que no estaría mal llamar comparativas). Dice que algunos son inútiles (ya que no aportan datos útiles) y otros no.
uy perdón, me faltó una h, thrash
@Manuel: como dice Vicente, no es qu eno crea en los benchmarks sino que hay que tener cuidado con ellos. A veces se comparan o estudian cosas irrelevantes (3D en un Netbook), otras se comparan cosas que no son comparables. En este último caso, pongo por ejemplo Top500. Resulta que comparan el rendimiento de:
– máquinas de memoria compartida y máquinas de memoria distribuida
– procesadores x86_64 con vectoriales con RISC con EPIC
– usan Linpack que corre bien en máquinas d ememoria distribuida, pero no en memoria compartida ni en procesadores vectoriales
– …
En otros casos se comparan sistemas con chipsets diferentes o con diferentes versiones de librerías o de compiladores, …
Pues qué quieras que te diga, no se está comparando peras con peras y manzanas con manzanas. Por eso digo que hay que andarse con cuidado y no tomarse como verdad absoluta un benchmark y entender muy bien qué se ha comparado, por qué y cómo. De lo contrario, nos equivocaremos fácilmente.
Ojo, no estoy diciendo que tengáis que compratir mi opinión, cada uno que se crea lo que quiera, yo sólo os doy unos consejos que, como se suele decir: “los consejos se dan para que la gente los ignore” ;)
@1080p H.264 Video Playback
¿De que sirve ver un video HD en una pantallita de 10”?
Eso también creo está de más…
@Carlos: cierto. Ver en HD un vídeo en una pantalla de 10″ no tiene mucho sentido. Se me ha pasado por alto, gracias por recordarlo. Lo que me refería es que veo más lógico que analicen el comportamiento de la reproducción de vídeo y sus “consecuencias” (consumo de batería, calor, …). Gracias por el apunte de 1080p ;)
Bueno, siempre he estado en contra de los benchmarks entre OS porque digo que solo son un criadero de flamewars, ahora yo no compro hardware basado en benchmarks sino en la calidad y el servicio de soporte que ofrecen las compa~ias y claro si dichos centros de servicios estan en mi pais. Pero, si apoyo los benchmarks de rendimiento unicos, es decir una vez estaba haciendo un programa en ruby, un simple GUI que te permitia organizar tus fotos en albumes y subirlos a facebook, nada dle otro mundo, ahroa todo estaba muy lento, mi primer razonamiento fue echarle la culpa a ruby por ser un lenguaje interpretado o dinamico como prefieran llamarle, luego decidi ejecutar benchmarks y hacer profiling, resulto que alrededor de 70% de la ejecucion se iba en I/O access, asi que simplemente redise~e, quite carga al I/O y funciono de maravilla.
Para casos asi los benchmarks son geniales, pero esos benchmarks comparativos solo son criaderos de flamewars.
un punto que el autor resalta y me ha gustado (i asta ahora pondre en practica) es ocmo en las comparativas a veces se ponen pruebas lejos de la realidad, la practicidad o el uso mas probable (en el ambito hardware. mas qe todo)
Gracias por tan buen articulo Thrash!
JaD!
Bueno, si no me equivoco los test son estandar para todos los pc ya sean desktop, laptop o notebook con lo que es normal que se tengan referencias de todo ya que supongo que siempre le pasaran el benchark en full test.