1. Ciencia

V FORO
SOBRE EVALUACIÓ DE LA CALIDAD DE
LA EDUCACIÓ SUPERIOR Y DE LA I VESTIGACIÓ
San Sebastián, 2 de septiembre de 2008
¿Cómo utilizar los indicadores
bibliométricos para la solicitud de los
sexenios y acreditación de los profesores?
Emilio Delgado López-Cózar
Evaristo Jiménez Contreras
Facultad de Comunicación y Documentación
Universidad de Granada
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Criterios generales ANECA para la Acreditación Nacional. Peso asignado a
cada apartado de la Actividad Investigadora
Acreditación
Catedrático de Universidad
100%
Acreditación
Profesor Titular de Universidad
100%
90%
10
10
90%
80%
6
5
6
5
80%
70%
70%
60%
60%
50%
50%
40%
40%
30%
38
38
30%
20%
20%
10%
10%
0%
0%
Sociales y Juridicas
Humanidades
7
7
4
5
4
5
35
35
Sociales y Juridicas
Humanidades
Articulos y libros
Congresos y otros
Articulos y libros
Congresos y otros
Proyectos y contratos
Transferencia
Proyectos y contratos
Transferencia
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Criterios generales ANECA para la Acreditación Nacional. Peso
asignado a cada apartado de la Actividad Investigadora
Acreditación
Catedrático de Universidad
100%
90%
80%
70%
60%
Acreditación
Profesor Titular de Universidad
100%
11
11
8
3
12
8
3
10
3
90%
8
8
9
80%
6
3
6
3
7
3
34
34
32
Ciencias
Ciencias
Salud
Ingeniería y
Arquitectura
70%
60%
50%
50%
40%
40%
30%
37
37
34
30%
20%
20%
10%
10%
0%
0%
Ciencias
Ciencias
Salud
Ingeniería y
Arquitectura
Articulos y libros
Congresos y otros
Articulos y libros
Congresos y otros
Proyectos y contratos
Transferencia
Proyectos y contratos
Transferencia
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Indicios de calidad libros
CNEAI, ANECA, ANEP
Criterios
CNEAI
ANECA
ANEP
Número de citas generadas (cantidad y calidad)
CCSS
Prestigio de la editorial, los editores, la colección en la que se publica
la obra
Reseñas en las revistas científicas especializadas
Riguroso proceso de selección y evaluación de originales
Que no estén publicados por la misma institución en la que trabaja el
investigador, salvo que ésta satisfaga los criterios especificados en
el Apéndice 1
Traducciones de la propia obra a otras lenguas
PCD
Inclusión en bibliografías independientes del autor y su entorno
Presencia en bases de datos, repertorios bibliográficos especializados
y catálogos de bibliotecas universitarias
Acreditar un proceso de selección riguroso mediante evaluadores
externos a las Universidades de la Comunidad Autónoma
(Derecho)
Obras de referencia imprescindibles en los estudios grado y postgrado
JURID.
HUM
Poseer ISBN (imprescindible)
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Indicios calidad revistas científicas
CNEAI, ANECA, ANEP I
Criterios
CNEAI
ANECA
ANEP
Se valorarán preferentemente los artículos incluidos en revistas recogidas
en los “Journal Citation Reports del Social Science Citation Index” y el
Science Citation Index (Institute for Scientific Information, -ISI-,
Philadelphia, PA, USA)
Física, Matemáticas, Biología Celular y Molecular, Ciencias Biomédicas,
Ciencias de la Naturaleza, Ingenierías y Arquitectura, Sociología,
Política, Educación, Economía, Psicología
Inclusión de las revistas en bases de datos internacionales
Ingenierías y Arquitectura: International Development Abstracts, International
Civil Engineering Abstracts, Environmental Abstracts, Applied Mechanic Reviews
, Avery Index to Architectural Periodicals de la Avery Library -Columbia
University-; Architectural Publications Index del Royal Institute of British
Architecs, TRIS Electronic Bibliography data
Sociología, Política, Educación, Economía, Geografía, Psicología: BD a
determinar por el comité asesor, Econlit, Catálogo Latindex
Historia: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts
and Humanities Citation Index y Social Science Citation Index, Bibliography of
the History of Arts (RLG), Historical Abstracts, International Medieval
Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc).
Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social
Science Citation Index y otras BD a determinar por el comité asesor, Library
and Information Science Abstracts, Philosopher’s Index, Répertoire
Bibliographique, International Bibliography of Periodical Literature in
Humanities and Social Sciences (IBZ), Bibliographie
Linguistique/Linguistic
Bibliography
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Indicios calidad revistas científicas
CNEAI, ANECA, ANEP II
Criterios
CNEAI
ANECA
ANEP
Satisfacer criterios de calidad editorial
Ciencias Naturaleza, Ingenierías y Arquitectura, Sociología, Política,
Educación, Economía, Geografía, Psicología, Derecho, Historia,
Filosofía, Filología, Lingüística
Clasificación alta en los listados del European Reference Index for the
Humanities (ERIH) de la ESF
Filosofía, Filología Lingüística
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Criterios calidad revistas científicas
CNEAI, ANECA, ANEP I
Criterios
CNEAI
ANECA
ANEP
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas
Traduce el Sumario de cada número al inglés así como el título
de los artículos, las palabras clave y los resúmenes
Informa sobre el proceso que emplea para la evaluación y
selección de manuscritos
Declara la periodicidad y la cumple
Utiliza el arbitraje científico en la evaluación de originales y lo
cumple
Declara emplear doble anonimato en la revisión externa y lo
cumple
Comunica a los autores la decisión editorial de forma motivada
Cuenta con un Consejo de Redacción efectivo
Cuenta con un Consejo Asesor efectivo
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Criterios calidad revistas científicas
CNEAI, ANECA, ANEP II
Criterios
CNEAI
ANECA
ANEP
Al menos el 50% de los artículos son trabajos que comunican
resultados de investigación originales
Al menos el 80% de los autores son ajenos a los Comités
Editoriales
Al menos el 80% de los autores son ajenos a la organización
editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%
Está indexada en los JCR de las bases de datos de la Web of
Knowledge de Thompson Scientific (SCI, SSCI
Está recogida en la principal base de datos internacional de su
especialidad (por ejemplo. CAB Abstracts, Sociological
Abstracts, Historical Abstracts, Econlit, PsycINFO,
Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex,
DICE
Está recogida en la base de datos española del CSIC que le
corresponda por su especialidad (ISOC, ICYT, IME)
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
ÍNDICES DE IMPACTO
REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
¿Qué son?
• Índices bibliométricos
– Índices estadísticos basados en recuentos de referencias
bibliográficas citadas en revistas científicas españolas a fin
de medir el impacto de revistas, artículos, autores e
instituciones españolas
– Convenciones internacionales: fórmula ISI
– Complementarios no sustitutivos: visión nacional versus
internacional
– Índices de impacto ⇒ Índices de citas
• Revistas científicas españolas
• Ciencias Sociales / Ciencias Jurídicas
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Revistas españolas de Ciencias Sociales y Humanas:
Valoración integrada e índice de citas
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
¿Qué es?
• Bases de Datos
Se presentan las bases de datos internacionales en las que la revista está
recogida.
• Índice Valoración A+B
Valoración de la revista en función de su contenido científico, a juicio del
profesorado universitario y personal investigador del área:
• Índice Impacto Medio (1999-2003)
• Criterios Latindex
• Evaluadores Externos
Los originales son informados por expertos externos a la entidad editora
la revista, antes de sen aceptados por el Consejo de Redacción.
de
• Periodicidad
Cuando sus ejemplares se editan con un plazo que no supere el doble del
anunciado
• Apertura exterior del Consejo Editorial o de Redacción
Al menos un tercio (33%) de los miembros de su Consejo Editorial pertenece
a instituciones diferentes a la entidad que edita la revista.
• Apertura exterior de los autores
Al menos el 50% de ellas son de autores cuyas instituciones de trabajo son
ajenas a la entidad editora de la revista
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Puntuación
máxima
Parámetros de calidad
1. Años de vida de la revista
20 años o más = 10 puntos
de 10 a 19 años = 5 puntos
de 5 a 9 años = 3 puntos
2. Cumplimiento de la periodicidad
Sí cumple = 13 puntos
No cumple = 0 puntos
3. Criterios Latindex
25 criterios o más = 13 puntos
de 20 a 24 criterios = 9 puntos
de 15 a 19 criterios = 5 puntos
menos de 15 criterios = 0 puntos
1
Años vida de la revista
10
2
Cumplimiento de la periodicidad
13
3
Criterios Latindex
13
4
Revisores externos
16
5
Índice A + B
16
6
IIM
16
7
BBDD
16
Total
100
4. Revisores externos
Sí cuenta con revisores externos = 16 puntos
No cuenta con revisores externos = 0 puntos
5. Índice A + B
(Índice A+B x 16)/100
Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos
Tipo de base de datos
7. Bases de Datos
A
B
C
SD
Especializada del área
6
3
1,5
0,75
Especializada en otra área
3
1,5
0,75
0,35
Multidisciplinar
6
3
1,5
0,75
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Las cifras de RESH
Total
Revistas valoradas
939
Revistas citantes
208
Período cubierto para las citas
1999-2003
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Subproducto de RESH elaborado para la ANECA
Indicadores:
Bases de Datos, Periodicidad, Evaluadores externos,
Apertura consejo editorial, Apertura revista
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Futuro
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
Sistema de evaluación
integrada de
revistas españolas
OPINIÓN
PARES
CNEAI
EC3
CALIDAD
EDITORIAL
ÍNDICES
DE
IMPACTO
ANECA
ANEP
Agencias
autonómicas
Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Catálogo Latindex
Sistema Regional de Información en Línea para
Revistas Científicas de América Latina, el Caribe, España y Portugal
Selección de revistas que han sido clasificadas conforme la aplicación de una serie
de criterios de calidad editorial probados y convenidos por el Sistema Latindex
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Las cifras del Catálogo Latindex
Total
Período cubierto
2002-
Revistas incluidas
3.098
Arte y Humanidades
Ciencias Sociales
Revistas españolas
511
1.962
1.077
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Criterios y metodología de evaluación
Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las
características básicas y con al menos 17 de los restantes parámetros
listados. Globalmente cada revista debe cubrir 25 parámetros. Estas
características son certificadas mediante revisión de los tres últimos
fascículos publicados de cada revista
Características básicas
Características de presentación de la revista
1
Mención del cuerpo Editorial
9
Páginas de presentación
2
Contenido
10
Mención de periodicidad
3
Antigüedad mínima 1 año
11
Tabla de contenidos (Indice)
4
Identificación de los autores
12
Membrete bibliográfico al inicio
del artículo
5
Lugar de edición
13
Membrete bibliográfico en cada
página
6
Entidad editora
14
Miembros del consejo editorial
7
Mención del Director
15
8
Mención de la Dirección
Afiliación institucional de los
miembros del consejo editorial
16
Afiliación de los autores
17
Recepción y aceptación de
originales
[email protected]
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
Criterios y metodología de evaluación II
Características de gestión y política editorial
Características de los contenidos
18
ISSN
26
Contenido original
19
Definición de la revista
27
Instrucciones a los autores
20
Sistema de arbitraje
28
Elaboración de las
referencias bibliográficas
21
Evaluadores externos
29
Exigencia de originalidad
22
Autores externos
30
Resumen
23
Apertura editorial
31
Resumen en dos idiomas
24
Servicios de información
32
Palabras clave
25
Cumplimiento de periodicidad
33
Palabras clave en dos
idiomas
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
ERIH
European Reference Index for the Humanities
•
Listas de buenas revistas europeas de
investigación en Humanidades
•
Creación paneles de expertos en 15 disciplinas
•
Criterios
– La selección de los artículos debe basarse en una
política de revisión objetiva (peer-review)
– Cumplimiento normas básicas de publicación
•
•
•
•
ISSN
Periodicidad: puntualidad en la aparición
Normalización referencias bibliográficas
Dirección completa filiación autores...
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
ERIH
European Reference Index for the Humanities
•
Categoría A (10-25% de todos los títulos):
– Nivel muy alto de internacionalidad
– Alta reputación entre los investigadores de un campo
– Regularmente citada en todo el mundo
•
Category B:
– Nivel medio de internacionalidad
– Buena reputación entre los investigadores de un campo
•
Category C:
– Publicaciones europeas
– Publicaciones de nivel local o regional
– Audiencia local o regional pero con citas fuera de su país de
publicación
Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del
contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad
internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en
la publicación
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
ERIH
European Reference Index for the Humanities
•
•
•
Marzo de 2007: 7 listas publicadas
(Anthropology, Gender Studies, History and
Philosophy of Science, Linguistics, Musicology,
Philosophy, Religious Studies and Theology)
Junio de 2007: 4 listas (Archaeology, Classical
Studies, History, Pedagogical & Educational
Research)
Octubre 2007: 4 listas (Art & Art History,
Literature, Oriental & African Studies, Psychology)
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
European Reference Index for the Humanities
Algunos resultados
España
Principales paise
Arqueología
10
2,4
UK (20%), Finlandia (10,5),
Dinamarca (10)
Estudios clásicos
23
9,1
Italia (26,3), Dinamarca (13,5),
Francia (9,6)
Hª y Filosofia de la ciencia
8
4,2
UK (20,5), USA (18,1), Holanda
(13,9)
Filosofia
11
3,6
UK (16,7), USA (15,7), Holanda
(14,7), Dinamarca (12,7)
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]
Muchas gracias por su atención
Emilio Delgado López-Cózar
[email protected]
Evaristo Jiménez Contreras
[email protected]
ec
3
Grupo de investigación
Evaluación de la Ciencia y de la
Comunicación Científica
www.ec3.ugr.es
EC3
Grupo de investigación
Evaluación de la Ciencia y de la Comunicación Científica
http://ec3.ugr.es
[email protected]