1. No category

Evaluación de Productos de Software
Paula Angeleri, Martín Santi, Rolando Titiosky
Facultad de Ingeniería y Tecnología
Informática
Universidad de Belgrano,
Buenos Aires, Argentina
{ paula.angeleri, martin.santi,
rolando.titiosky }@comunidad.ub.edu.ar
Abstract
La evaluación de la calidad de producto software es
un tema poco tratado en la región y la nueva serie de
normas ISO/IEC 25000 representa un avance
importante. Sin embargo aún no se han publicado todas
las partes de esta serie de normas que se necesitan
para llevar a cabo una evaluación. En este artículo se
presenta el proceso de evaluación de software MyFEPS
que está basado en normas internacionales ISO/IEC, y
que introduce mejoras para cubrir algunos aspectos no
considerados en las normas ISO/IEC. MyFEPS
incorpora una forma explícita de establecer los
objetivos de evaluación basada en ponderaciones,
actividades para tratar los riesgos del proyecto, y
calcular el grado de calidad del producto, en función
de la importancia relativa de los ítems de calidad.
Asimismo presenta una experiencia de aplicación en el
que se evaluó un producto software eCommerce,
utilizando el proceso de evaluación definido.
Abraham Dávila
Departamento de Ingeniería
Pontificia Universidad Católica del Perú
Lima, Perú
[email protected]
calidad, al momento de calcular el grado de calidad
alcanzado por el producto durante la evaluación [1]
debido a que son modelos preescriptivos (dicen qué
hacer) y no descriptivos (no dicen cómo); por
ejemplo, a partir de las sub-características de
calidad externa de la ISO/IEC 9126, en el contexto
de una evaluación podría ser más importante la
Precisión, o la Adecuación (a requerimientos), que
la Interoperabilidad, la Seguridad de acceso, y el
Cumplimiento de estándares.
ISO (International Organization for Standardization)
inició la revisión de estas series de normas (ISO/IEC
9126 e ISO/IEC 14598) bajo la serie 250xx
denominada SQuaRE (del Inglés Software Quality
Requirements and Evaluation) [4]. A la fecha han
publicado algunos de sus modelos de calidad como la
ISO/IEC 25010, pero aún no se han publicado sus
métricas, por lo que no puede utilizarse para los fines
de la certificación de software.
1. Introducción
2. Objetivos y alcance
En Argentina hay incentivos gubernamentales para
la certificación de productos software, la cual se lleva a
cabo considerando las series de normas internacionales
IRAM-ISO/IEC 14598, el modelo de calidad IRAMNM-ISO/IEC 9126-1 y las métricas de la ISO/IEC 9126
partes 2, 3 y 4 [13]. Durante las primeras certificaciones
se detectaron algunos problemas tales como:
- el modelo de calidad no consideraba algunos
aspectos relevantes para la industria de software de
Argentina, como por ejemplo, la seguridad de la
información, que se consideraba como una subcaracterística de la Funcionalidad y se acotaba a
seguridad de acceso y trazas de auditoría;
- la ISO/IEC 14598, y su sucesora la ISO/IEC 25040
no indican en forma explícita el procedimiento para
ponderar las atributos y sub-características de
El objetivo de este artículo es presentar un proceso
de evaluación que puede ser utilizado a los fines de la
certificación de productos software y que se ha
utilizado en más de 10 proyectos de evaluación
realizados entre el 2012 y 2015. De estos proyectos se
han publicado 2 casos de estudio en formato de tesis de
grado, uno de los cuales se presenta como estudio de
caso de este artículo. Se debe destacar que el proceso
que se describe ha sido utilizado para evaluar productos
software cuyos certificados ISO/IEC 25000 están
próximo a ser emitidos por el IRAM. Como este
proceso es parte de un marco de trabajo (Framework)
MyFEPS, se explica brevemente en qué consiste el
Framework y su modelo de calidad QSAT. Queda fuera
del alcance de este artículo la comparación entre el
modelo QSAT y otros modelos de calidad de productos
software, la cual ha sido presentada en CONAIISI2014
[16].
3. Marco de trabajo (Framework) MyFEPS
En el 2010 se inició el proyecto de investigación
denominado "Metodologías y Framework para la
evaluación de productos Software" (MyFEPS), con el
objetivo principal de elaborar un Framework integral,
que incluyera:
- un nuevo modelo de calidad basado en ISO/IEC
9126 y extendido para las necesidades de la
industria de software de Argentina; y
- un proceso de evaluación de productos software
que permita establecer pesos relativos de los Ítemes
de Calidad (IC) para obtener el nivel de calidad de
un IC de categoría superior;
De esta manera se podría responder las siguientes
preguntas:
- Al calcular el grado de calidad de un IC, como
puede ser la Característica Funcionalidad, ¿todos
sus IC de nivel inferior (Sub-características) tienen
la misma Importancia Relativa (IR) para esta
evaluación? De no tenerla, ¿cómo estimo cuál es la
IR de cada IC?
El resultado del proyecto MyFEPS, es un marco de
trabajo (en adelante framework) de evaluación de
software constituido por el nuevo modelo de calidad
QSAT, el proceso de evaluación de productos software
MyFEPS, y un conjunto de herramientas de apoyo al
proceso de evaluación. El proceso de evaluación de
software MyFEPS es genérico y puede aplicarse para
evaluar cualquier tipo de software y una amplia lista de
características de calidad.
3.1. Modelo de calidad QSAT
Como se explicó en la Introducción, se habían
identificado falencias a la hora de utilizar el modelo de
calidad ISO/IEC 9126 en las evaluaciones de productos
software, por lo que el proyecto MyFEPS fue iniciado a
comienzos de 2010 y obteniéndose el QSAT como un
modelo de calidad de producto software.
El modelo QSAT se organiza mediante
características, sub-características, atributos y métricas
relacionadas. Estos elementos se presentan mediante un
estudio de caso de producto de eCommerce
denominado para el estudio eCOMM.
El modelo de calidad QSAT tiene una estructura
jerárquica, al igual que los modelos ISO/IEC 9126-1
[17] e ISO/IEC 25010 [2]. En el nivel más alto se ubica
el Contexto, según el cual se definen Características
Básicas (CB) de calidad del producto software. Una CB
sólo puede asociarse a un único Contexto, el que
determina una o más CB. Una CB se compone de Subcaracterísticas (SubC) que la definen. Cada SubC puede
evaluarse a partir de Atributos (Atr), utilizando
Métricas (Métr). El modelo QSAT contiene un nivel
intermedio de Sub-sub-característica (SubSubC), que
no tienen los modelos ISO/IEC. La estructura del
modelo se representa en la Figura 1.
Figura 1. Estructura del Modelo de Calidad
QSAT.
El modelo QSAT presenta 6 contextos: Ser usado,
Ser probado, Ser instalado, En su interacción con el
entorno, Ser Desarrollado, y Ser adaptado. Tiene 17
Características Básicas: Adaptabilidad, Calidad de los
artefactos,
Facilidad
de
mantenimiento,
Estandarización, Facilidad de Instalación, Capacidad
para
ser
probado,
Constancia,
Correctitud,
Cumplimiento Legal, Efectividad, Eficiencia, Manejo
de fallas, Satisfacción de las partes interesadas (en
adelante stakeholders) que no son usuarios, Satisfacción
subjetiva de los usuarios, Usabilidad (objetiva),
Seguridad de no causar daños, Seguridad Informática, y
de ellas se descomponen 71 SubC [16].
A continuación se dan ejemplos de Características
Básicas, Sub-Características, Atributos y Métricas del
modelo de calidad QSAT, en función del contexto Ser
usado (ámbito de aplicación) para el producto eCOMM
cuya evaluación de calidad se presenta en la sección 5,
y fue presentada con anterioridad en forma sintética en
CONAIISI 2014 [15].
CB1. Característica Básica: “Satisfacción subjetiva
de los usuarios”: en qué medida el software hace sentir
confortable al usuario, en el contexto de una nueva
versión, de modo que los usuarios tienen una subjetiva
percepción de satisfacción por el uso del sistema. Las
sub-características, atributos, métricas y formulas se
presentan en las Tablas 1, 2, 3. 4, 5 para la CB1.
Tabla 1. Ejemplo en detalle de la SC 1.1 de CB1.
SC1.1
Atr1.1.1
Metr1.1.1
Fórmula
Confort Físico
Grado de Confort percibido en entorno de Uso
Se calcula en función de las respuestas de usuarios a un
cuestionario dado
1. Sea NU (número de Usuarios)
2. Para suma=0 e i=1 hasta NU, de 1 en 1, hacer
2.1. Obtener GCFi (Grado de confort, según la opinión
del usuario. Se mide entre 0 y 1)
2.2. suma+=GCFi Fin
3. Valoración de la Confortabilidad del producto=
Suma/UN
Tabla 2. Ejemplo en detalle de SC 1.2 de CB1.
SC1.2
Atr1.2.1
Metr1.2.1
Fórmula
Facilidad en el Acceso a las Funciones
Facilidad de Acceso a las Funciones en el entorno de
uso
Se calcula en función de las respuestas de usuarios a un
cuestionario dado
1. Sea NU (número de Usuarios)
2. Para suma=0 e i=1 hasta NU, de 1 en 1, hacer
2.1. Obtener GFAi (Grado de facilidad en el acceso a las
funciones, según la opinión del usuario. Se mide entre 0
y 1)
2.2. suma+=GFAi Fin
3. Valoración de la Facilidad en el Acceso a las
funciones= Suma/NU.
Fórmula
CB2. Característica Básica: “Usabilidad Objetiva”:
en qué medida el software posibilita a los usuarios
desempeñar su rol con una eficiencia mayor a una preestablecida. Las sub-características, atributos, métricas
y formulas se presentan en las Tablas 6, 7, 8. 9,10,11 y
12 para la CB2.
Tabla 6. Ejemplo en detalle de SC 2.1 de CB2.
SC2.1
Atr2.1.1
Metr2.1.1
Fórmula
Tabla 3. Ejemplo en detalle de SC 1.3 de CB1.
SC1.3
Atr1.3.1
Metr1.3.1
Fórmula
Comprensión de las salidas del sistema
Comprensión de las salidas del Sistema en entorno de
uso
Se calcula en función de las respuestas de usuarios a un
cuestionario dado
1. Sea NU (número de Usuarios)
2. Para suma=0 e i=1 hasta NU, de 1 en 1, hacer
2.1. Obtener GCSi (Grado de Comprensión de las
salidas del Sistema, según la opinión del usuario. Se
mide entre 0 y 1)
2.2. suma+=GCSi
Fin
3. Valoración del Grado de Comprensión de las salidas
del Sistema= Suma/NU.
Fórmula
Estética
Estética percibida en entorno de uso
Se calcula en función de las respuestas de usuarios a un
cuestionario
1. Sea NU (número de Usuarios)
2. Para suma=0 e i=1 hasta NU, de 1 en 1, hacer
2.1. Obtener GCSi (Grado de Estética, según la opinión
del usuario. Se mide entre 0 y 1)
2.2. suma+=GEi
Fin
3. Valoración del Grado de Estética del Sistema=
Suma/NU.
Tabla 5. Ejemplo en detalle de SC 1.5 de CB1.
SC1.5
Atr1.5.1
Metr1.5.1
Satisfacción Total
Satisfacción Total percibida en entorno de uso
Se calcula en función de las respuestas de usuarios a un
cuestionario dado
Usabilidad Objetiva en el Aprendizaje
Tiempo Promedio de Aprendizaje Intuitivo en entorno
de Uso
Se calcula a partir de la siguiente fórmula
1. Obtener la lista de X Estudiantes/Operadores del
Sistema.
2. Obtener LTOE (Lista de Tareas Organizacionales
relacionadas con el Sistema, Esperables de realizar)
3. Obtener TiLTOE (El tiempo en que se espera que se
ejecuten la lista de Tareas Organizacionales relacionadas
con el Sistema)
4. Para Corrida=0 hasta LTOE
4.1. Para Suma=0 Y i=1 hasta X, de a 1, Hacer
4.1.1. Medir TOR(i)
4.1.2. Suma+=TOR(i); Fin
Para Suma Fin para Corrida
Media=Suma/X;
Si Media < TiLTOE Entonces Valoración=1
SINO Valoración= = Media/TiLTOE
Tabla 7. Ejemplo en detalle de SC 2.2/Atr2.2.1 de
CB2.
SC2.2
Atr2.2.1
Metr2.2.1
Fórmula
Tabla 4. Ejemplo en detalle de SC 1.4 de CB1.
SC1.4
Atr1.4.1
Metr1.4.1
1. Sea NU (número de Usuarios)
2. Para suma=0 e i=1 hasta NU, de 1 en 1, hacer
2.1. Obtener GSi (Grado de Estética, según la opinión
del usuario. Se mide entre 0 y 1)
2.2. suma+=GEi
Fin
3. Valoración de la Satisfacción Total percibida en
entorno de uso= Suma/NU.
Usabilidad Objetiva en la Coherencia de la IU
Nro. de reglas de IU estándares cumplidas por el sistema
Se calcula a partir de la siguiente fórmula
1. Obtener NCESE (la Totalidad de Características
Estándares para el Sistema en Estudio).
2. Encontrar dentro del sistema la CESC (Características
Estándares del Sistema en Estudio).
3. Valoración = CESC/NCESE
Tabla 8. Ejemplo en detalle de SC 2.2/Atr2.2.2 de
CB2
SC2.2
Atr2.2.2
Metr2.2.2
Fórmula
Usabilidad Objetiva en la Coherencia de la IU
Lostness: Promedio de Interfaces visitadas hasta
completar la tarea
Se calcula a partir de la siguiente fórmula
1. Definir NMIT (Número Mínimo de Interfaces para
completar una Tarea).
2. Elegir X usuarios.
3. Se definen las variables:
SumIDV: Sumatoria de las Interfaces distintas Visitadas
en cada LTOE por el usuario.
SumIV: Sumatoria de todas las Interfaces Visitadas en
cada LTOE por el usuario.
SumLOST: Sumatoria del Lostness de cada usuario.
4. SumLOST=0
5. Para i=1, hasta i== LTOE, de uno en uno, hacer:
a. Para j=1, hasta j==X de uno en uno, hacer:
b. Hasta completar LTOE(i) hacer: SumIDV=SumIV=0
SI la interfaz acaba de accederse y nunca fue visitada
Entonces SumIDV+=1, FIN
SI SumIV++; FIN b
SumLOST+=1- FIN j
FIN i
6. Valoración = SumLOST/(X*LTOE)
Tabla 9. Ejemplo en detalle de SC 2.3/Atr2.3.1 de
CB2.
SC2.3
Atr2.3.1
Metr2.3.1
Fórmula
En la entrada manual de la información
Cantidad de Tareas Organizacionales (De la Empresa)
realizadas por Hora (o por Unidad de Tiempo Fija) en
entorno de Uso
Se calcula a partir de la siguiente fórmula
1.Obtener LTOE (Lista de Tareas Organizacionales
relacionadas con el Sistema, Esperables de realizar)
2. Obtener TiLTOE (El tiempo en que se espera que se
ejecuten la lista de Tareas Organizacionales relacionadas
con el Sistema)
3. Obtener la lista de X Operadores del Sistema
4. Obtener la cantidad M de pruebas del LTOE
5. Para Corrida=0 hasta M
5.1. Para Suma=0 Y i=1 hasta X, de a 1, Hacer
a. Medir TOR(i)
b. Suma+=TOR(i); Fin Para Suma Fin para Corrida
6. Media=Suma/(X*M);
7. Si Media < TiLTOE Entonces Valoración=1
SINO Valoración= = Media/TiLTOE
Tabla 10. Ejemplo en detalle de SC 2.3/Atr2.3.2 de
CB2.
SC2.3
Atr2.3.1
Metr2.3.1
Fórmula
En la entrada manual de la información
Ayuda para la Prevención de Errores en el ingreso
manual de Información en entorno de Uso
Se calcula a partir de la siguiente fórmula
1. Elegir X Usuarios (al azar) del Sistema
2. SumaAE =TACE=SumAE=0
3. Para i=1, hasta i==X, de 1 en 1 Hacer:
a. TACE(i)=Medir Nro. de Controles que el usuario
logra completar con Éxito.
b. nTACE(i)=Medir Nro. de Controles que el usuario
no logra completar con Éxito.
c. SumAE+=TACE(i)
d. nSumaAE+=nTACE(i) Fin
4.Valoración = SumAE/(nSumaAE+SumaAE)
Tabla 12. Ejemplo en detalle de SC 2.5 de CB2.
SC2.5
Atr2.5.1
Metr2.5.1
Fórmula
Efectividad del Help
Cantidad de errores de los que el Help ayuda al usuario a
recuperarse
Se calcula a partir de la siguiente fórmula
1. Elegir X usuarios.
2. SumE=0
3. Para i=1, hasta i==X, de un en 1, hacer:
a. Calcular Cantidad de errores de los que logró
recuperarse el usuario (CCER) gracias al Help
b. Calcular Cantidad de errores de los que NO logró
recuperarse el usuario (nCCER) gracias al Help
c. SumE+=CCER(i)
d. nSumE+=nCCER(i)
4.Valoración = SumE/(nSumaE+SumaE)
3.2. Proceso de evaluación de productos
software MyFEPS
El proceso de evaluación de productos software se
descompone en Etapas, Actividades y Tareas (como se
definen los procesos en ISO/IEC 12207 [11]. MyFEPS
tiene etapas similares a las del proceso de evaluación de
productos software de la ISO/IEC 25040 pero difiere a
nivel de actividades. En MyFEPS se han incorporado
nuevas actividades para poder realizar encuestas a los
stakeholders que permitan precisar los objetivos de la
evaluación y que permitan ponderar los resultados de
las mediciones. El proceso en MyFEPS tiene 5 Etapas
principales (ver Figura 2): Establecer Requisitos y
Objetivos, Especificar la Evaluación, Diseñar la
Evaluación, Evaluar el Producto, y Concluir la
Evaluación.
Establecer Requisitos y Objetivos-Establecer el propósito de la evaluación- Identificar el producto a evaluar- Identificar los requerimientos de calidad- Administrar los riesgos de la evaluación
- Elegir el marco de calidad-
Tabla 11. Ejemplo en detalle de SC 2.4 de CB2.
SC2.4
Atr2.4.1
Metr2.4.1
Fórmula
En el acceso a las funciones
Velocidad en el Acceso a las funciones
Se calcula a partir de la siguiente fórmula
1. Obtener el NFTot (todas las Funciones
Implementadas) para el Sistema
2. Para Suma=0 e i=0 hasta NFI, de 1 en 1 hacer
a. Registrar su Tiempo(i) de acceso a la función
b. Suma+=Tiempo(i)
3. MediaNFI=Suma/NFI
4. Obtener La LTAF (Lista de Tiempo Medio de Acceso
a Funciones)
5. Obtener la MLTF (Media de LTAF)
6. Valoración = MLTF/MediaNFI
Especificar la Evaluación
- Definir recursos de la evaluación Conformar el equipo evaluador
- Seleccionar las métricas
- Establecer criterios para ponderar los
itemes de calidad
- Establecer fidelidades de medición
-
Diseñar la Evaluación
- Preparar recursos e infraestructura
- Elaborar el Plan de mediciones
- Elaborar el Plan de pruebas
- Obtener y adecuar recursos para la
evaluación
Evaluar el Producto
- Completar los cuestionarios
- Realizar las pruebas
- Medir los atributos requeridos por las
métricas
- Registrar valores de métricas en el modelo
de evaluación
- Obtener resultados
Concluir la Evaluación
- Analizar los resultados
- Informar el Grado de Calidad
- Documentar la Evaluación
Figura 2. Etapas y Actividades del MyFEPS
1)
Etapa: Establecer Requisitos y Objetivos
Las actividades de esta etapa son: Establecer el
propósito de la evaluación, Identificar el producto a
evaluar, Identificar los requerimientos de calidad,
Elegir el marco de calidad y Administrar los riesgos de
la evaluación. A continuación se describen estas
actividades:
a) Establecer el propósito de la evaluación (id3): se
trata de identificar los objetivos de negocio que
debe satisfacer el producto, que han llevado a la
necesidad de evaluar el producto.
b) Identificar el producto a evaluar (id4): se debe
identificar claramente si se trata de un producto
completo, o de un módulo, y su estado: en
desarrollo, desarrollado, en evaluación o en
selección.
c) Identificar los requerimientos de calidad (id5):
en esta etapa, hay que definir:
stakeholders del proyecto (evaluador,
factor normativo, inversor en el
desarrollo, sponsor, usuario, etc.)
- requerimientos de calidad del producto de
software que se desean evaluar.
d) Administrar los riesgos de la evaluación (Id6):
MyFEPS considera la administración de riesgos
esencial al proceso de evaluación, ya que en
función del nivel de riesgo del producto a
evaluar, se puede determinar la rigurosidad de la
evaluación [9]. Por tal motivo se ha definido
como actividad explícita del proceso, en lugar
de dejarse a criterio del líder del proyecto.
e) Elegir el marco de calidad (id7): En esta etapa
hay que:
- Definir el modelo de calidad a usar (id8):
en función de los requerimiento de calidad
identificados (tarea id5), se selecciona un
modelo de calidad de referencia. Se puede
usar el Modelo QSAT [16], MyFEPS[1],
el modelo ISO/IEC 9126, el modelo
ISO/IEC 25010 (cuando se publiquen sus
métricas) u otro modelo que definan los
stakeholders.
- Definir la “rigurosidad” del modelo (id9):
esta
definición
debe
realizarse
considerando el tipo de producto a evaluar
(id4), el objetivo de la evaluación (id3), y
la actividad administración de riesgos
(id6), ya que a mayor nivel de riesgo (de
vida, de seguridad, económico) mayor
debe ser la rigurosidad con que se
evaluarán los Ítems de Calidad (IC) [9].
2)
Etapa: Especificar la Evaluación
Las actividades de esta etapa son: Definir recursos
de la evaluación, Conformar el equipo evaluador,
Seleccionar las métricas, Establecer criterios para
ponderar los ítemes de calidad, y Establecer fidelidades
de medición. Se definen a continuación:
a) Definir recursos de la evaluación (id15): en base
a los objetivos de evaluación definidos en
función del modelo de calidad, y considerando
las Rigurosidades y Fidelidades especificadas,
se procede a identificar los recursos necesarios
para la Evaluación, que abarcan: Instalaciones,
Infraestructura Tecnológica (Hardware y
Software), Recursos Humanos (de gestión y
operativos, con la formación y habilidades
necesarias a los fines de la evaluación),
Herramientas Tecnológicas (Hardware y
Software), etc.
b) Conformar el equipo evaluador (id16): se
seleccionan los Recursos Humanos disponibles
para el proyecto, en función de los roles que se
requieren para el proyecto, algunos de los cuales
dependen de la CB y las SubCB a evaluar.
c) Seleccionar las métricas (id17): el evaluador
debe seleccionar las métricas que utilizará para
medir cada Atributo.
d) Establecer criterios para ponderar los ítems de
calidad (CB, SubCB, Atr) (id18): en esta
actividad, todos los stakeholders completan las
planillas de ponderación de ítemes de calidad,
es decir, el peso que se asigna a la importancia
relativa IR de cada cada Atributo, Sub-SubCaracterística,
Sub-Característica
y
Característica. Asimismo en esta actividad se
establecen los valores objetivo de puntuación
para cada Ítem de Calidad, y para el Grado de
calidad del producto. Es decir, igualando o
superando qué valor el producto pasa
exitosamente la evaluación.
e) Establecer fidelidades de medición (id19): a
continuación hay que determinar la fidelidad
con la que se van a medir las Métricas,
considerando el riesgo del producto estimado en
id9. A mayor riesgo, la fidelidad es cercana a 1,
a menos riesgo, es cercana a 0.
3)
Etapa: Diseñar la Evaluación
Las actividades de esta etapa son: Preparar recursos
e infraestructura, Elaborar el Plan de mediciones,
Elaborar el Plan de pruebas, y Obtener y adecuar
recursos para la evaluación. Se detallan a continuación:
a) Preparar recursos e infraestructura (id21): se
deben conseguir los recursos definidos en id15
y se evalúa si la infraestructura (instalaciones,
mobiliario, equipamiento informático y de
comunicaciones) es adecuada para el proyecto.
En caso de no serlo, se debe adecuar la
infraestructura actual para que, al final de esta
etapa, esté disponible para su uso en el
proyecto.
b) Elaborar el plan de mediciones (id22): en esta
actividad se realiza un plan detallado con las
mediciones que deben llevarse a cabo durante el
proyecto, que permitan calcular las métricas
correspondientes a los Atr, SubCB y CB a
evaluar. Se fija un calendario para las tareas de
medición,
considerando
nuevamente
la
actividad Administrar los Riesgos (Id9), con el
fin de asegurarse que el plan se pueda ejecutar
en los tiempos estimados, en función de los
recursos disponibles.
c) Elaborar el plan de pruebas (id23): en función
de las Métricas, Atr, SubCB y CB a evaluar, se
deben realizar de las siguientes tareas:
- Elaborar los Casos de prueba (id24):
definir qué casos de prueba se llevarán a
cabo, en qué ambiente, con qué métodos
y/o herramientas y en qué fecha.
- Diseñar el Ambiente de prueba (id25): se
revisa la infraestructura (id21) para
asegurarse que sea adecuada para
configurar el/los ambiente/s donde se
realizarán las pruebas identificadas en
id24.
- Documentar los Casos de Prueba (id26):
constatar si los casos de prueba definidos
en
id24
están
completamente
documentados, conteniendo al menos el
nombre de la prueba, objetivo, ambiente,
interfaz, componente, acciones, valores de
entrada, resultado esperado.
d) Obtener y adecuar recursos para la evaluación
(id27): en esta actividad debe quedar el
ambiente de pruebas listo para su uso,
incluyendo
Hardware,
comunicaciones,
dispositivos necesarios, software de base, de
aplicaciones, utilitarios, etc.
4)
Etapa: Evaluar el Producto
Las actividades de esta etapa son: Completar los
cuestionarios, Realizar las pruebas, Medir los atributos
requeridos por las métricas, Registrar valores de
métricas en el modelo de evaluación, y Obtener
resultados. Se describen a continuación:
a) Completar los cuestionarios (id29): el grupo de
Especialistas responde los Cuestionarios de
Medidas Estándares, en función de las
características consideradas en la Evaluación.
b) Realizar las pruebas (id30): se realizan las
pruebas definidas en cada caso de prueba (id32)
y se registran los datos de su ejecución,
incluyendo los hallazgos encontrados (id33).
Una vez ejecutados todos los casos de prueba se
obtendrán estadísticas para conocer la cantidad
total de pruebas exitosas, la cantidad total de
pruebas no exitosas, y la identificación de los
defectos correspondiente.
c) Medir los Atributos requeridos por las Métricas
(id35): realizadas todas las pruebas y obtenidos
todos los cuestionarios realizados, se procede a
calcular los valores obtenidos para cada
Métrica.
d) Registrar valores de métricas en el Modelo de
evaluación (id36): para realizar los cálculos de
las medidas obtenidas y considera sus
ponderaciones se recomienda utilizar una
herramienta de apoyo. En MyFEPS se elaboró
una planilla de cálculo denominada Modelo de
Evaluación que se encuentra dentro del conjunto
de elementos de apoyo para este proceso. En
esta planilla se registran las mediciones y los
factores de ponderación para poder obtener el
Grado de calidad del producto evaluado.
e) Obtener Resultados (id37): concluida la carga
de los valores obtenidos al calcular cada Métrica
en la planilla, y considerando el factor de
Ponderación resultante (id18), se obtendrá el
Grado de calidad del producto evaluado, al que
llamaremos G.
5)
Etapa: Concluir la Evaluación
Las actividades de esta etapa son: Analizar los
resultados, Informar el Grado de Calidad, y
Documentar la Evaluación, y se describen a
continuación:
a) Analizar los resultados (id39): se analizan los
resultados del proceso de evaluación, se
comparan con los criterios de éxito definidos en
id18, para concluir si el producto pasó
exitosamente la evaluación, o no. En esta
actividad es importante resaltar los desvíos
ocurridos, los defectos encontrados, y sugerir
recomendaciones de mejora del producto.
b) Informar el Grado de Calidad (id40): en función
del Grado de calidad G obtenido en id 37 y del
Análisis de los Resultados (id 39), se elabora un
Informe de evaluación, el cual debe ser
comunicado al cliente.
c) Documentar la Evaluación (id41): se debe dejar
documentado el Proyecto completo, así como
los defectos encontrados y sus correcciones.
3.3. KIT de Herramientas de MyFEPS
El Framework MyFEPS proporciona a su vez un
conjunto de elementos de apoyo al proceso de
Evaluación de productos software, compuesto por
guías, plantillas, mapeos a los modelos de Calidad
ISO/IEC 9126-1 y 25010, y bases teóricas que dieron
sustento al modelo, los que están fuera del alcance de
este artículo. Las bases teóricas pueden leerse en
JAIIO2011 [1].
4. Alineamiento de MyFEPS a la norma
ISO/IEC 25040
El proceso de evaluación MyFEPS se elaboró
tomando como base el proceso de la ISO/IEC 14598 y
las mejoras del nuevo proceso ISO/IEC 25040, e
incluyendo la experiencia del equipo de investigación.
En particular, MyFEPS introduce:
a) actividades de la gestión de riesgos como una
actividad relevante dentro de su proceso y que
está basada en la ISO/IEC 31000 ; y
b) la ponderación de los atributos de calidad
basada en un esquema de ponderación de Ítemes
de Calidad, a partir de pesos recogidos mediante
cuestionarios realizados a stakeholders clave
para el proyecto.
En el Apéndice A se presenta un mapeo de alto nivel
realizado entre MyFEPS y la ISO/IEC 25040, con el
propósito de mostrar el alineamiento que existe por
parte de MyFEPS con el proceso establecido en la
norma ISO/IEC 25040, y con un segundo objetivo de
evidenciar las incorporaciones adicionales de MyFEPS
que no están en la ISO/IEC 25040. Al pie de la tabla se
explica que cuando la norma ISO/IEC 25040 no
menciona actividades no es que no se realicen tareas
similares, sino que no han sido formalmente
identificadas con nombres explícitos.
5. Aplicación del proceso de evaluación de
productos software MyFEPS
Durante el Proyecto MyFEPS, luego de establecer
un nuevo modelo de calidad QSAT y el proceso de
evaluación de productos software MyFEPS, se llevaron
a cabo proyectos de evaluación con el objetivo de
validar si el proceso y el modelo de calidad eran
adecuados para su propósito y si eran comprensibles
para evaluadores no expertos. A continuación se
describe brevemente el proyecto de evaluación dep
producto eCOMM, que consistió en la evaluación de
Usabilidad de un producto eCommerce, siguiendo las
etapas de MyFEPS:
1)
Etapa 1: Establecer Requisitos y Objetivos.
Se llevaron a cabo sus 5 actividades principales: a.
Identificar el Producto: (a) Evaluar, (b) Establecer el
Propósito de la Evaluación, (c) Identificar los
Requerimientos de Calidad, (d) Elegir el Marco de
Calidad y (e) Administrar los Riesgos de la Evaluación.
El objetivo de la evaluación era conocer el nivel de
satisfacción de los usuarios del producto software
Prosys-Ecommerce versión 2.2.0 (eCOMM) en base a
su experiencia en el uso del sistema (usabilidad).
eCOMM era un producto terminado y en uso, que
tiene por funcionalidad principal vender pasajes de
ómnibus on-line. La evaluación comprendió sus 8
funcionalidades principales: Home con buscador de
servicios, Resultados con respuesta a búsqueda de
servicios, Plano de ómnibus, Check-Out para ingresar
datos de pago, Gateway de Pago (interfaz con
Validador de Tarjetas de Crédito), Confirmación
(informa al usuario el éxito de su compra),
Desambiguación (ayuda al usuario a seleccionar otra
parada próxima, en el caso de que la buscada no exista
en el sistema), y Error (página que reporta problemas al
usuario).
Asimismo los stakeholders deseaban que se evaluará
su usabilidad con métricas objetivas. Ambos
requerimientos se evaluaron utilizando el modelo de
Tabla 13. Cuestionario de Pesos de Ponderación de
IC.
13 Satisfacción de los Usuarios
P untuac ion
T otalm ente s in
im portanc ia
A lgo im portante
Im portante
M edianam ente
Im portante
M uy im portante
X
13.1 Confort Fisico
X
13.2 En el Acceso a las Funciones
X
13.3 En la Comprensión de las salidas del sistema
X
13.4 En la Estética
X
13.6 Satisfacción Total
X
17 Usabilidad Objetiva
X
17.1 En el Aprendizaje
X
17.1.3 Tiempo promedio de Aprendizaje intuitivo
17.2 En la Coherencia de la IU
X
17.2.1 Nro de reglas de IU estándares cumplidas por el sistema
X
X
X
17.8.2 Lostness: Promedio de Paginas visitadas hasta completar la tarea
17.3 En la Entrada Manual de Informacion
X
17.3.2 Cantidad de Tareas Organizacionales (De la Empresa) realizadas por Hora
X
17.3.3 Ayuda para la Prevención de Errores en el ingreso manual de Información
17.4 En el Acceso a las Funciones
X
17.4.1 Velocidad en el Acceso a las Funciones
17.7 Efectividad del Help
X
X
17.7.2 Cantidad de errores de los que el Help ayuda al usuario a recuperarse
X
X
Una vez que se completaron todos los cuestionarios,
se obtuvo así la Importancia Relativa que cada
Stakeholder asignó a cada Ítem de Calidad, y se obtuvo
el promedio de IR asignado a cada Ítem de Calidad,
considerando el total de cuestionarios, que se
correspondía con el total de stakeholders. Esta medida
se consideró la Importancia Relativa Final, obtenida
para cada Ítem de Calidad, como muestra la Tabla 14:
Caracteristicas
13 Satisfacción de los Usuarios
S t a k e H o ld e rs
Tabla 14. Importancia Relativa Final
P u n t u a c io n
calidad QSAT, considerando sus características básicas
(CB) “Satisfacción de los usuarios” y “Usabilidad
Objetiva”. Respecto de los riesgos, el software a
evaluar no era un producto de alto riesgo ya que no
implica riesgo de vida, asimismo no había complejidad
tecnológica, ni de calendario.
2)
Etapa 2: Especificar la Evaluación.
Se llevaron a cabo sus correspondientes actividades:
(a) Definir los recursos de la Evaluación, (b) Conformar
el equipo Evaluador, (c) Seleccionar las Métricas, (d)
Establecer Ponderación de ítemes de calidad a evaluar y
(e) Establecer fidelidades de medición.
Luego del análisis de riesgos inicial, se definieron
los recursos de infraestructura, conectividad, y se
conformó el equipo evaluador: se identificaron 4
stakeholders en función de las disponibilidades de
Recursos de la empresa donde se realizó el Test, estos
fueron: Directora Operativa, Responsable Comercial,
Jefe de Tecnología, Tester; a su vez el equipo evaluador
estaba integrado por 5 personas: 1 Analista QA, 2
Ingenieros de Software, 1 Project Manager y 1 Tester;
por último, en las pruebas de satisfacción de usuarios
participaron 12 usuarios.
El siguiente paso fue seleccionar las características
básicas CB a evaluar, sus sub-características SubCB,
atributos Atr y métricas Mtr. Las CB seleccionadas
fueron “Satisfacción de los usuarios” SAT, y
“Usabilidad Objetiva” USO. Para calcular SAT se
seleccionaron las subCB “Confort Físico”, “Facilidad
en el Acceso a las Funciones”, “Comprensión de las
salidas del sistema”, “Estética” y “Satisfacción Total”.
Para medir USO se seleccionaron las SubCB “En el
Aprendizaje”, “En la Coherencia de la IU”, “En la
entrada manual de la información”, “En el acceso a las
funciones”, y “Efectividad del Help”. Las métricas
correspondientes fueron descriptas en la sección 3.1.
Seleccionadas las métricas que se utilizaran para
calcular el grado de calidad del producto software, se
estableció la Importancia Relativa (IR) de cada Ítem de
Calidad (IC), solicitando a los Stakeholders del
proyecto que completen los Cuestionarios de Pesos de
Ponderación de los IC como “Muy Importante”,
“Importante”, “Medianamente importante”, “Algo
importante”, “Totalmente Sin Importancia”. Cada
respuesta, tiene asociado un valor, “1”, “0,75”, “0,50”,
“0,25”, y “0” respectivamente, que luego sirve para
calcular el promedio de importancia de cada punto. El
cuestionario utilizado se muestra en la siguiente Tabla
13.
3
0.75
2.25
0.56
13.2 En el Acceso a las Funciones
2.5
0.63
13.3 En la Comprensión de las salidas del sistema
2.25
0.56
13.4 En la Estética
2.5
0.63
13.6 Satisfacción Total
2.75
0.69
13.1 Confort Fisico
17 Usabilidad Objetiva
3
0.75
17.1 En el Aprendizaje
2.25
0.56
17.1.3 Tiempo promedio de Aprendizaje intuitivo
17.2 En la Coherencia de la IU
2.25
0.56
2.25
0.56
2.25
0.56
17.2.1 Nro de reglas de IU estándares cumplidas por el sistema
17.2.2 Lostness: Promedio de Paginas visitadas hasta completar la tarea
17.3 En la Entrada Manual de Informacion
2.25
0.56
2.5
0.63
17.3.2 Cantidad de Tareas Organizacionales (De la Empresa) realizadas por Hora
2.5
0.63
17.3.3 Ayuda para la Prevención de Errores en el ingreso manual de Información
17.4 En el Acceso a las Funciones
2.5
0.63
2.5
0.63
17.4.1 Velocidad en el Acceso a las Funciones
17.7 Efectividad del Help
2.5
0.63
2.5
0.63
2.5
0.63
17.7.2 Cantidad de errores de los que el Help ayuda al usuario a recuperarse
Las IR obtenidas para cada Ítem de Calidad se
utilizaron para realizar las ponderaciones.
3)
Etapa 3: Diseñar la Evaluación.
Se llevaron a cabo sus actividades: (a) Preparar
Recursos e Infraestructura, (b) Elaborar el Plan de
Mediciones, (c) Elaborar el Plan de Pruebas, (d)
Elaborar los Casos de Prueba, (e) Diseñar el Ambiente
de Prueba, (f) Documentar cada caso de prueba y (g)
Obtener y adecuar los Recursos necesarios para la
Evaluación.
Se definieron los casos de prueba para la
Característica Básica “Usabilidad Objetiva”:
a) Revisión de la presencia de las características
estándares en el sistema en todo el sitio: se
inspeccionaron todas las interfaces del sistema
para comprobar la presencia de las
características estándares del sistema en cada
una de ellas.
b) Compra Pasaje de Ida: en este caso de prueba se
pretendía comprar sólo un pasaje de ida, sin
retorno.
c) Compra de Pasaje de Ida y Vuelta: este caso de
prueba incluía un pasaje de ida y otro de vuelta.
d) Compra de Pasaje de Ida sin servicios
disponibles para la fecha ingresada: en este caso
de prueba, los usuarios realizaron búsquedas de
viajes de Ida para una fecha dada, que no
tuviera servicios disponibles.
e) Compra de Pasaje de Ida y vuelta sin servicios
disponibles para la fecha ingresada: los usuarios
realizaron búsquedas de viajes de Ida y Vuelta
para una fecha dada, que no tuviera servicios
disponibles.
f) Compra de Pasaje de Ida con paradas no
reconocidas por el sistema: los usuarios
ingresaron en la búsqueda una parada origen no
reconocida por el sistema.
g) Compra de Pasaje de Ida y vuelta con paradas
no reconocidas por el sistema: los usuarios
ingresaron en la búsqueda una parada de origen
y/o de destino, no reconocida por el sistema.
h) Compra de Pasaje de Ida con tarjeta Inválida: se
ingresó un número de tarjeta inválida al comprar
un pasaje de ida. El sistema debía rechazar la
tarjeta inválida. Pero además se debía permitir
rectificar los datos y para con datos de tarjeta
válida.
i) Compra de Pasaje de Ida y Vuelta con tarjeta
Inválida: mismo caso que el anterior, pero para
pasajes de Ida y Vuelta.
j) Compra de pasaje de ida "intuitiva": se buscaron
usuarios que nunca antes habían comprado
pasajes on-line, y se les requirió que compren
un pasaje de Ida.
k) Recuperarse de Errores del Sistema: los
usuarios ejecutaron errores identificados en la
lista de errores del sistema e intentaron
recuperarse de cada uno de ellos.
No se describen cómo se llevaron a cabo estas
actividades por no ser relevantes al propósito de
explicar cómo se realizaron las ponderaciones para
obtener el grado de calidad.
4)
Etapa 4: Evaluar el Producto.
Por ser una evaluación que incluye Satisfacción de
usuarios, se completaron los cuestionarios de
satisfacción (id29), se preparó el ambiente de prueba
(id31), y se ejecutaron los casos de prueba (id32) y
(id33). Se midieron los Atributos requeridos por las
Métricas (id35), para poder evaluar cada SubCaracterística, registrándose los valores obtenidos en
cada Métrica (id36), para esto se utilizó una Plantilla
Excel que conformaba el Modelo de Evaluación según
el listado de Características y Sub-características
seleccionadas para esta evaluación. Se registró el
resultado de las mediciones y sus ponderaciones en
dicha planilla para obtener el Resultado de la
evaluación (id37), es decir, el Grado de Calidad del
Producto en función del Objetivo de la Evaluación. O
sea, se obtuvo el valor de G.
En esta etapa los 12 usuarios finales ejecutaron los
casos de prueba b, c, d, e, f, g, h, i, j, k. El caso de
prueba a fue ejecutado por el tester. El caso de prueba e
fue ejecutado nuevamente por el tester para medir los
tiempos de todas las funciones implementadas por el
sistema.
Finalmente se elaboraron los cuestionarios de
“Satisfacción de Usuarios” para que respondan el grupo
de usuarios conformado para la evaluación. Como se
explicó con anterioridad, este cuestionario es un
requisito para la evaluación de la característica
“Satisfacción de los Usuarios” y sus respectivas subcaracterísticas seleccionadas. El cuestionario se
compone de 5 secciones, siendo cada sección una subcaracterística de la característica “Satisfacción de los
Usuarios”. Estas partes son: “Satisfacción en el Confort
Físico”, “Satisfacción en el Acceso a las Funciones”,
“Satisfacción en la Comprensión de las Salidas del
Sistema”, “Satisfacción en la Estética” y “Satisfacción
total”.
Cada una de las sub-características fue valorada por
los 12 usuarios en un rango de 0 a 1, siendo 0 el peor
valor y 1 el valor óptimo, en el medio podían
seleccionar los valores 0.25 "algo importante", 0.5
"medianamente importante" y 0.75 "importante":
a) “Satisfacción en el Confort Físico”: en qué
medida le resultó confortable físicamente el uso
del sistema teniendo en cuenta como factores de
influencia negativos: movimientos incómodos,
ataques foto sensitivos, etc. El valor 1
significaba
“El
sistema
resultó
muy
confortable”. El valor 0 significaba “El sistema
resultó sumamente incómodo”. Se obtuvo una
media de 0,88/1.
b) “Satisfacción en el Acceso a las Funciones”: Se
pregunta en qué medida le resultó fácil el acceso
a las distintas funciones ofrecidas por el sistema
en cuanto a la identificación de la función y los
datos necesarios para su ejecución. El valor 1
significaba “El acceso a las funciones resultó ser
Muy sencillo”. El valor 0 significaba “El acceso
a las funciones resultó ser Sumamente
complejo”. Se obtuvo una media de 0,79/1.
c) “Satisfacción en la Comprensión de las Salidas
del Sistema”: en qué medida las salidas
mostradas por sistema fueron comprendidas
teniendo en cuenta los resultados obtenidos de
cada función, mensajes de advertencia y error, y
demás información. El valor 1 significaba “La
información mostrada por el sistema resultó
Clara y fácil de comprender”. El valor 0
significaba que “La información mostrada por el
sistema resultó Confusa y poco Comprensible”.
Se obtuvo una media de 0,63/1.
d) “Satisfacción en la Estética”: en qué medida le
resultó agradable el diseño y apariencia del
sistema. El valor 1 significaba “El sistema
resultó muy atractivo y agradable”. El valor 0
significaba “El sistema resultó Sumamente
desagradable”.Se obtuvo una media de 0,83/1.
e) “Satisfacción total”: en qué medida se sintió
satisfecho con el uso del sistema teniendo en
cuenta si lo volvería o utilizar o no. El valor 1
significaba “El usuario se sintió altamente
satisfecho con el sistema y lo volvería a usar”.
El valor 0 significaba “El usuario se sintió
sumamente insatisfecho y no volvería a usar el
sistema”. Se obtuvo una media de 0,79/1. Los
valores obtenidos se ilustran en la Tabla 15.
TABLA 15: Cuestionario de Satisfacción de los
Usuarios
5)
Etapa 5: Concluir la Evaluación
Se analizaron los resultados del proceso de
Evaluación (id39) en busca de desvíos, con el fin de
identificar
recomendaciones de mejora para el
producto. También se reportaron los desvíos
evidenciados. Luego, en función del Grado de Calidad
G obtenido en id37 y del Análisis de los Resultados
(id39), se elaboró un informe, el que fue comunicado al
cliente. Por último se constató que todo el proyecto
haya sido correctamente documentado (id41).
Una vez finalizadas las encuestas, las mediciones y
calculadas las métricas, se procede a calcular el Grado
de Calidad del producto software evaluado conforme a
los requerimientos de la evaluación, al que llamaremos
G. Para esta etapa se utilizó una plantilla Excel para
Calcular el Grado de Calidad de un Producto software,
como muestra la Tabla 15 del apéndice B.
Luego de realizarse los cálculos, como establece la
Planilla de la Tabla 15, se obtuvo un Grado de calidad
de 0,79/1 del producto eCommerce considerando sus
Características Básicas Satisfacción de Usuarios y
Usabilidad objetiva.
6. Conclusiones
Se ha presentado el proceso de evaluación del
Framework MyFEPS, basado en el proceso de
evaluación de productos software que describe la norma
ISO/IEC 25040, que ha reemplazado a la ISO/IEC
14598-1. Asimismo se ha presentado un estudio de caso
en el cual se ha evaluado un producto de eCommerce,
para mostrar que el proceso puede ser aplicado, incluso
por personal no experto, que participaba de su primera
evaluación de software.
Se ha realizado una breve comparación entre los
procesos de evaluación MyFEPS e ISO/IEC 25040, en
la que puede observarse que en MyFEPS se han
respetado las 5 actividades principales propuestas por
ISO/IEC 25040: (1) Establecer los requisitos de la
Evaluación, (2) Especificar la Evaluación, (3) Diseñar
la Evaluación, (4) Ejecutar la Evaluación, (5) Concluir
la Evaluación [10] pero se han agregado actividades. En
primer lugar las actividades propias del proceso de
gestión de riesgos se han formalizado dentro del
proceso de evaluación, y no como parte de actividades
de seguimiento del proyecto. Esto enfatiza la
importancia que tiene la gestión de riesgos,
convirtiéndola en una actividad obligatoria que debe
realizarse dentro del proceso de evaluación, en lugar de
dejarla opcional a la experiencia del Administrador del
Proyecto de Evaluación. En segundo lugar, se han
agregado actividades necesarias para registrar la
Importancia Relativa (IR) que tienen los Ítems de
Calidad para los stakeholders o partes interesadas en el
proyecto de evaluación, y actividades para ponderar
Ítemes de Calidad (Características Básicas, Subcaracterísticas, Sub-sub-características, y Atributos)
que les otorgan los stakeholders.
Respecto del proyecto de evaluación del producto
eCOMM, las conclusiones principales fueron que el
proyecto pudo llevarse a cabo de acuerdo a lo
planificado, siguiendo el proceso de evaluación de
productos de software MyFEPS [14]. Asimismo el
modelo de calidad QSAT resultó completo (al menos
para el objetivo de este proyecto) y pudo utilizarse sin
inconveniente por parte del equipo evaluador y de
stakeholders no expertos, creándose buena sinergia
entre ellos durante el proyecto gracias a la participación
que se daba a stakeholders. Por último, resultó valioso
que el modelo de calidad considere tanto la Usabilidad
subjetiva, basada en encuestas a usuarios, como la
objetiva, que considera métricas que no se basen en la
opinión de usuarios [15].
7. Agradecimientos
Agradecemos Amos Sorgen, quien co-dirigió el
proyecto MyFEPS desde el 2010 al 2012, a la empresa
TSOFT por apoyar este proyecto [13], y a Alejandro
Oliveros por sus comentarios sobre este artículo.
8. Referencias
[1] Sorgen, A., Angeleri, P.: El Modelo de Evaluación del
Proyecto MyFEPS, 40JAIIO - ASSE 2011 - ISSN: 18502792, 180-191, (2011),
[2] ISO/IEC 25010 Systems and software engineering —
Systems and software Quality Requirements and Evaluation
(SQuaRE) – System and software quality model.
[3] ISO/IEC 25040 Systems and software engineering —
Systems and software Quality Requirements and Evaluation
(SQuaRE) — Evaluation process.
[4] ISO/IEC 25000 Systems and software engineering —
Systems and software Quality Requirements and Evaluation
(SQuaRE) – Overview
[5] ISO/IEC 25041 Systems and software engineering –
Systems and software Quality. Requirements and Evaluation
(SQuaRE) – Evaluation guide for developers, acquires and
evaluators
[6] IRAM-ISO-IEC 14598-1: Proceso de Evaluación. 2005
[7] IRAM-ISO/IEC 14598-3: Proceso en Desarrollo de
Software. 2008
[8] IRAM-ISO/IEC 14598-4: Proceso en Adquisición. 2008
[9] IRAM-ISO/IEC 14598-5: Proceso en Evaluación
Independiente. 2008
[10] ISO/IEC 25040:2012. Systems and software engineering
— Systems and software Quality -Requirements and
Evaluation . (SQuaRE) — Evaluation process. 2012
[11] ISO/IEC 12207 Information Technology / Software Life
Cycle Processes
[12] ISO 31000:2009 - Principles and Guidelines on
Implementation.
[13] Angeleri, P., Sorgen, A., Bidone, P., Fava, A., Grasso,
W.; Diseño y desarrollo de un framework metodológico e
instrumental para asistir a la evaluación de software, 43
JAIIO - JUI 2014 - ISSN: 1851-2518 - Página 10,
[14] Santi, M., Medición de la Usabilidad de un Ecommerce
empleando el Framework MyFEPS, tesis de grado de
Universidad de Belgrano, 2013.
[15] Santi, M., Evaluación de la Usabilidad de un sitio de
Comercio Electrónico empleando el Framework MyFEPS,
CONAIISI 2014.
[16] Angeleri, P.;Oliveros, A; Sorgen, A.; Titiosky, R.;
Wuille Bille J.; Modelo de calidad de productos de software,
CONAIISI 2014, ISSN: 2346-9927 - Página 1043.
[17] IRAM-NM-ISO/IEC 9126-1 Tecnología de la
información-Ingeniería de software - Calidad del producto
Parte 1 - Modelo de calidad (ISO/IEC 9126-1:2001, IDT)
Information technology - Software engineering - Product
quality Part 1 - Quality Model 1, IRAM, 2009.
[18] Rolando Titiosky, Paula M. Angeleri, Amos Sorgen,
Jaquelina Wuille Bille: "Proyectos de Evaluación de
Productos de Software con un nuevo Framework de Calidad",
XV Workshop de Investigadores en Ciencias de la
Computación 2013, ISBN: 9789872817961, .
Apéndice A. Mapeo de alto nivel entre MyFEPS y la norma ISO/IEC 25040
Id
2
3
4
Actividad / Sub-actividad / Tarea de MyFEPS
Establecer Requisitos y objetivos
Establecer el Propósito de la Evaluación
Identificar el Producto a Evaluar
Ref
1
1-1
1-2
5
Identificarlos Requerimientos de Calidad
1-3
6
7
8
9
10
11
12
13
14
15
16
17
Administrar Riesgos de la Evaluación
Identificar Riesgos de Proyecto
Producto
Analizar los Riesgos
Tratar los Riesgos
Monitorear los Riesgos
Elegir el Marco de Calidad
Definir El Modelo de Calidad a Usar
Definir la Rigurosidad del Modelo
Especificar la Evaluación
Definir Recursos para la Evaluación
Conformar Equipo Evaluador
Seleccionar las Métricas
N/E
y/o
18
19
Establecer Ponderación de Ítems de calidad
Establecer Fidelidades de Medición
20
21
22
23
24
25
26
27
37
Diseñar la Evaluación
Preparar Recursos e Infraestructura
Elaborar el Plan de Mediciones
Diseñar las Pruebas
Elaborar los casos de Prueba
Diseñar el Ambiente de Prueba
Documentar los Casos de prueba
Obtener y Adecuar Recursos para la
Evaluación
Evaluar el Producto
Realizar encuestas
Realizar las Pruebas
Armar el Ambiente de Prueba
Ejecutar casos de Prueba
Documentar sus Ejecuciones
Concluir la Prueba
Medir los Atributos requeridos por las Métricas
Registrar los Valores de las Métricas en el
Modelo de Evaluación
Obtener Resultados
38
39
40
41
Concluir
Analizar los resultados
Concluir el Grado de Calidad
Documentar la Evaluación
28
29
30
31
32
33
34
35
36
ISO/IEC FDIS 25040
Establecer los requisitos de evaluación
Establecer propósito de la evaluación
Obtener los requisitos de calidad de productos
de software
Identificar las partes de productos para ser
incluido en la evaluación
N/E
N/E
N/E
N/E
1-4
2
Definir el rigor de la evaluación
Especificar la evaluación
2-1
3
Seleccione las medidas de calidad (módulos de
evaluación)
N/E
Definir criterios para la toma de medidas de
calidad
Establecer criterios de decisión para la
evaluación
Diseñar la evaluación
4
Ejecutar la evaluación
4-1
Las actividades de evaluación del Plan
4-1
Realice mediciones
4-2
4-3
Aplicar los criterios de decisión de las medidas
de calidad
Aplicar criterios de decisión para la evaluación
Concluir la evaluación
Revise los resultados de la evaluación
Cree el informe de evaluación
Examen de evaluación de calidad y
proporcionar información a la organización
Realizar la disposición de los datos de
evaluación
2-2
2-3
5
5-1
5-2
5-3
5-4
Las referencias en blanco en el modelo ISO significa que no hay una tarea identificada, pero no indica que no se
lleve a cabo. En cambio N/E indica que no hay una tarea equivalente, por ejemplo en el modelo ISO no hay una
tarea en la cual se establezcan parámetros de ponderación de Ítems de Calidad en base a cuestionarios realizados a
stakeholders.
Apéndice B. TABLA 4: Planilla de Cálculo del Grado de Calidad del Producto