Revista: Atlante. Cuadernos de Educación y Desarrollo
ISSN: 1989-4155

---

INVESTIGANDO EN EDUCACIÓN: EL MÉTODO DELPHI.

---

• INTRODUCCIÓN

La investigación en el ámbito de la didáctica y la educación va a enmarcarse en la investigación social, entendida ésta como el estudio de cuestiones relevantes desde un punto de vista socio-científico, que clásicamente hace alusión a la sociología, la geografía humana, la política social, la política y la criminología. Sin embargo, por ciencias sociales se puede englobar cualquier estudio sobre cuestiones que harán desarrollarse y cambiar a la sociedad. En el caso de la investigación educativa, se considerará como una investigación del ámbito socio-científico, y como tal, utiliza herramientas metodológicas propias de la investigación en este campo.

Autores como González (1997) definen la investigación social como “un proceso crítico por el cual se formulan preguntas y se intenta dar respuesta” a través del método científico. De ahí la importancia de usar las técnicas más acertadas en cada caso para el tipo de saber que se pretende alcanzar (descripción de la realidad social, explicación de la realidad o transformación de la realidad).

Los métodos de investigación son el pilar fundamental para la recolección de información y tratamiento de datos, de este modo, la investigación social puede tener lugar a través de estudios de índole cuantitativo y/o cualitativo. La perspectiva de los estudios cuantitativos se basa en una orientación deductiva, a fin de comprobar una teoría establecida. Los análisis cuantitativos son extensamente usados en el campo de la investigación de ciencias experimentales y se basan en una filosofía objetivista. Por otro lado, los estudios cualitativos son métodos inductivos en los cuáles se genera una teoría, basándose por lo tanto en una filosofía interpretativa constructivista.
Así, las principales características de ambos paradigmas se pueden sintetizar como se recoge en la Tabla 1 según Cea d'Ancona (1998).

Por otro lado, los estudios basados en el uso de encuestas están muy extendidos en las investigaciones socio-científicas. Estos estudios se basan en la recopilación de datos cualitativos y cuantitativos sobre diferentes variables que se analizan para detectar patrones de asociación entre ellas. Así, en este estudio se realiza una revisión exhaustiva del método Delphi, el cual se caracteriza por utilizar una batería de cuestionarios que se pasan sucesivamente a un grupo de encuestados que se mantiene fijo a través del tiempo hasta concluir el estudio, y cuya metodología se puede considerar a caballo entre ambos enfoques, el cualitativo y el cuantitativo.
De este modo, la metodología establecida bajo el nombre de método Delphi ha sido definida por Landeta (2002) como

 “un proceso sistemático e iterativo encaminado a la obtención de las opiniones, y si es posible el consenso, de un grupo de expertos”.

 

2. ORIGEN Y EVOLUCIÓN DEL MÉTODO DELPHI

En la década de los cuarenta, el centro de investigación norteamericano The Rand Corporation, donde en aquel momento imperaba la metodología positivista en los investigadores y su quehacer científico, buscaba respuesta a las demandas que se les hacían desde el campo de las disciplinas sociales (Okoli & Pawlowski, 2004). Fruto de ello, en la década de los cincuenta y partiendo de las investigaciones de Dalkey & Helmer (1963), que aplicaron el método Delphi con fines estratégico-militares para la defensa de los EE.UU en caso de producirse una guerra nuclear, surge el método Delphi.
El nombre de método Delphi lo propuso el filósofo Abraham Kaplan, quien formaba parte del centro de investigación norteamericano mencionado, para denominar a la investigación orientada a mejorar el uso de las opiniones de expertos en las decisiones políticas futuras (Cuhls, 2011). El nombre tiene su origen en la antigua Grecia donde se tenía por costumbre ir al templo de Apolo en Delfos (Delphi en su traducción inglesa) para pedir consejo a los Pythia (profetas). Esta ciudad era sagrada y famosa por sus oráculos, que eran fuente de enseñanza moral. Para los antiguos, estos oráculos predecían el futuro y podían ver los propósitos divinos de forma que podían advertir sobre los eventos venideros para afrontarlos de la mejor forma posible. El templo era considerado un lugar de conocimiento, y el oráculo Delphi era la “data base” más grande del mundo antiguo (Cuhls, 2011; Okoli & Pawlowski, 2004).
         El método predecesor a éste y sobre el que se inspira el método Delphi era el “método Vaticano”, antiguo procedimiento mediante el cual los cardenales buscaban obtener una decisión consensuada sobre temas esenciales de la religión católica, o la elección del Papa. Aunque Delphi, parecía un nombre poco afortunado por ligarse a lo oculto, el autor del mismo, Kaplan, logró demostrar, de forma experimental, la superioridad de los resultados cuando éstos se obtenían a partir de un consenso fruto del trabajo de un grupo de individuos sobre el esfuerzo individual.

El primer experimento asimilable a la metodología Delphi del que se tiene noticia, tuvo lugar en 1948 y se orientó hacia la mejora de predicciones de los resultados en carreras de caballos (Okoli & Pawlowski, 2004). A principios de los años cincuenta, el método Delphi empezó a ser desarrollado por diferentes miembros del RAND (Research and Development Corporation, en Santa Mónica, California, EEUU). Así, en 1951, el método se aplicó con todas sus características definitorias a un estudio con fines militares, que por razones de seguridad no se publicó hasta 10 años más tarde, y que marcó el reconocimiento y expansión del método como una novedad técnica. En 1959, Helmer & Rescher, publicaron un trabajo orientado a la justificación del método y a la fijación de las bases para su utilización científica. Es en este artículo, donde aparece por primera vez publicado el nombre de método Delphi y aparece la esencia de su procedimiento. En 1963, Helmer & Quade, lanzaron la primera propuesta documentada de una utilización de la técnica Delphi con fines sociales no militares en la planificación de economías en desarrollo. Otro trabajo reseñable fue el de  Helmer & Gordon (1964), en el que se produce la primera utilización de esta metodología a gran escala, orientado hacia la previsión a largo plazo, abarcando diferentes temas sociales, tecnológicos y militares. Entre los años sesenta y setenta, el método se utilizó reiteradamente en estudios relacionados con la toma de decisiones en los campos tecnológico, empresarial y en problemas sociales complejos (Dalkey & Helmer, 1963; Okoli & Pawlowski, 2004).

A principios de los años 70, se produce la desclasificación del método Delphi por las Fuerzas Aéreas de los EE.UU, es entonces cuando su utilización se extendió rápidamente hacia la previsión tecnológica, la toma de decisiones empresariales en situaciones de incertidumbre y la evaluación de problemas sociales complejos (transporte, sanidad, entorno, etc.). La relación de trabajos entorno al método Delphi de artículos y documentos publicados hasta 1974 fue recogida por Linstone & Turoff (1975) (134 antes de 1970, 355 entre 1970 y 1974) mostrando de esta manera el elevado nivel de difusión que alcanzó la técnica en pocos años.

Posteriormente, en un artículo de Meyrick (2003), cita el trabajo que desarrollaron Gupta & Clarke en 1996 con una revisión exhaustiva de los estudios Delphi realizados entre 1975 y 1994, encontrando 463 artículos publicados, en estudios relacionados con la toma de decisiones en los campos tecnológico, empresarial y en problemas sociales complejos (Dalkey & Helmer, 1963; Okoli & Pawlowski, 2004). El método Delphi ha sido estudiado en trabajos de seguimiento a lo largo de los años, considerándose en la actualidad que ha sido demostrada su validez y precisión. Las posibilidades de aplicación del método Delphi abarcan prácticamente todo el espectro dentro de las áreas de las Ciencias Sociales.

Trabajos de revisión como los de Meyrick (2003), Landeta (2002; 2006) ponen de manifiesto que entre 1997-2000 se realizaron estudios Delphi en 152 tesis doctorales, tomando como referencia la base de datos Dissertation Abstracts. Además, para un periodo de 2 años, entre 1998 y 2000, la base de datos Abi/Inform Global Edition incluye no menos de 14 artículos publicados en diversas revistas internacionales sobre economía que han utilizado el método Delphi, mientras que Psycinfo muestra 29 artículos y Medline incluye 168 artículos en los campos de la psicología y la medicina respectivamente (Gómez, 2016). Para el contexto español, una búsqueda exploratoria en las bases de datos Teseo y Tesis Doctorales en Red (TDR) a fecha de enero de 2016 identifica más de 80 tesis que han llevado a cabo desarrollos Delphi (Gómez, 2016). Estos datos ponen de manifiesto el uso y aplicación del Delphi en distintas áreas de conocimiento, argumentos para avalar la vigencia social y metodológica del Delphi.
3. FILOSOFÍA DEL MÉTODO DELPHI.

El método Delphi es una herramienta de investigación que se ha utilizado para lograr una mayor comprensión de la realidad desde diferentes perspectivas y para llegar a un acuerdo sobre temas de los que no se dispone de información concluyente (Varela-Ruiz et al., 2012). Así pues, los estudios Delphi se aplican sobre temas en los que el conocimiento es incompleto y se utiliza como participantes a un panel de expertos que son elegidos en base a su conocimiento y su experiencia para evaluar el tema de forma competente (Cuhls, 2011). El método busca la opinión de los expertos en un determinado tema, que recoge de forma escrita, con el objeto de lograr un consenso (Collins et al. 2001).

Este método tiene dos pilares fundamentales: la inteligencia colectiva y la participación anónima.El primero de ellos, la inteligencia colectiva, se lleva a la práctica posibilitando que los expertos puedan confluir en una conformidad común. De esta forma, el Delphi propone que la opinión de un individuo tiene menos fiabilidad que la de un grupo en igualdad de condiciones. En relación al anonimato, implica que las ideas son consideradas sin un conocimiento de la identidad de la persona que las presenta. Además, al no llevarse a cabo de modo presencial protege que las respuestas de cada experto no estén influenciadas por otros, porque evita situaciones que dan lugar al pensamiento de grupo, es decir, a un modo de pensar colectivo que hace que el individuo puede que no evalúe de modo realista (Varela-Ruiz et al. 2012; Geist, 2010; Landeta, 2006).

El método Delphi se centra en el envío de cuestionarios sucesivos a un grupo de expertos previamente elegidos. El consenso se obtiene por un procedimiento matemático de agregación de juicios individuales, por lo tanto, pretende obtener una visión colectiva de expertos sobre un tema a partir de rondas repetidas de preguntas, siendo un método capaz de obtener y depurar los juicios de grupo. Algunos autores (León & Montero, 2004) la definen como:

"Técnica de recogida de datos que se utiliza para poner de acuerdo a un grupo de expertos, sobre un tema de interés para el investigador. Consiste en aplicar un cuestionario repetidamente, dando a conocer a todos los expertos las respuestas de los demás en las aplicaciones anteriores e invitándoles a buscar el máximo consenso entre ellos".

La clave de lo que se intenta es que un grupo llegue a una conclusión y no sólo un especialista. Hay unas características inherentes y básicas en esta técnica, muy útiles para las disciplinas que no son exactas, como es el caso del estudio que se pretende en el presente proyecto. También es especialmente útil cuando hay situaciones de incertidumbre, ya que permite definir posibilidades futuras. En estos escenarios, no es posible una técnica estadística convencional aislada, y se deben usar métodos que utilicen juicios subjetivos de los expertos implicados en el tema. Cuanto más diferente es el perfil del panel de expertos, más rico será el estudio, y más completos serán los resultados que se obtengan, al contemplar todas las perspectivas posibles. Por tanto, se considera una técnica grupal, es decir, no tiene en cuenta lo que un experto pueda definir de forma sesgada o imperfecta, ni siquiera suma varias opiniones de expertos en el tema, sino que aúna y llega a un consenso de distintas opiniones sobre un mismo tema. Un grupo siempre manejará una información superior a la que puede manejar un solo individuo (Varela-Ruiz et al., 2012).

Todo lo anterior permite observar dos aspectos importantes en relación al método (De Villiers et al., 2005):

 

El método está diseñado para vehiculizar y optimizar una consulta sistemática de opiniones sobre un tema concreto a través de una serie de cuestionarios diseñados cuidadosamente de una forma secuencial a partir de la recopilación y feedback de las opiniones previas de los cuestionarios anteriores (Gould, 2003; Okoli & Pawlowski, 2004). El problema que surge con los paneles de expertos en los que se utiliza la técnica de discusión convencional es que existe un sesgo por el tipo de personalidad de cada participante y las influencias interpersonales. Con el método Delphi este efecto se elimina creándose retroalimentaciones personales y anónimas para el resto de los participantes.

 

4. TIPOS DE MÉTODOS

Por otro lado, la técnica ha ido evolucionando desde su creación, señala Lee (2009), surgiendo diferentes formas de aplicación del mismo. De esta forma, a partir del Delphi original, denominado por la literatura como Delphi clásico, surgen variedades diferenciadas de Delphi. De las clasificaciones del método, destaca la realizada por Zolingen & Klaassen (2003) o en trabajos más recientes los de Syed & Camp (2012) y Okoli & Pawlowski (2004) serían: atendiendo al tipo de estudio. Dichos autores distinguen cuatro tipos principales de Delphi que son:

 

 

 

En la actualidad, la versión denominada como "Delphi modificada" (Linstone & Turoff, 1975; Murray & Hammons, 1995; Mengual, 2011) va siendo cada vez más frecuentemente aplicada. En la versión original de la técnica Delphi se realizan tres o más rondas, que mientras en el denominado "Delphi modificado", se suelen realizar dos rondas, dado que el Delphi llevado a un extremo puede convertirse en una tarea larga y costosa para ambas partes (investigador y expertos); en cada ronda se emplea un tiempo extenso, y con dos rondas es más sencillo mantener el interés de los participantes.  Mencionar que existen muchas más variantes según ligeros cambios en el procedimiento o según el campo al que se apliquen, así se puede encontrar: método Delphi de decisión, método Delphi grupal, etc, Pero siempre siguiendo la filosofía, pautas y características de la metodología Delphi.

5. CARACTERÍSTICAS DEL MÉTODO DELPHI.

Los estudios Delphi poseen, básicamente, tres características principales: transparencia, respuesta controlada y análisis estadístico grupal (Dalkey et al., 1972). En la Tabla 2 se recogen las principales diferencias entre el método Delphi y los cuestionarios habituales (según Okoli & Pawlowski, 2004) bajo los seis criterios de evaluación claves que definen la calidad, ventajas e inconvenientes de los dos tipos de estudio.

Según los estudios de Linstone & Turoff (1975) y Varela-Ruiz et al. (2012) los pilares básicos del Delphi se pueden sintetizar en tres características:

 

 

6. DEBILIDADES Y FORTALEZAS DEL MÉTODO

Pero como en cualquier método de investigación se presentan ventajas y desventajas propias del proceso y la filosofía en la que se basa. A continuación se enumeran las ventajas e inconvenientes que algunos autores apuntan (Balasubramanian & Agarwal, 2012; Steward et al., 1999; McGill, 1998; Czinkota & Ronkainen, 1997).

Las principales ventajas del método son:

 

Las desventajas o críticas con las que cuenta el método Delphison fundamentalmente:

 

Como todos los métodos de investigación, el método Delphi tiene limitaciones y desventajas debido a que para ciertos tipos de investigación puede haber otros métodos más adecuados, en función del tipo de información disponible o el análisis que requiera cada problema de estudio. La crítica más importante que hacen los detractores de los métodos de expertos es que algunos no lo consideran un método científico debido a que depende de opiniones de personas y no de datos, que se sustenten en la historia estadística del área de investigación. Además, se critica el hecho de que se basa en juicios personales basados en la subjetividad, si bien quienes emiten juicios son expertos en la materia. Varios autores (Reguant Álvarez & Torrado-Fonseca, 2014; Cabero & Infante, 2014) señalan las principales debilidades que se pueden identificar en este método son: la elaboración inadecuada del cuestionario, selección incorrecta de expertos, sesgo en las respuestas cuando el que responde trata de ajustarse a la medida de dispersión proporcionada como información después de la primera ronda o puede suceder también que no se llegue a la estabilidad.

Para contrarrestar estas críticas se debe considerar que la confiabilidad se define comúnmente en términos de la precisión de los instrumentos de medición  y puede probarse de varias formas, por ejemplo, variando los procedimientos internos y estudiando sus efectos en el pronóstico obtenido, o comparando predicciones del método con otras predicciones basadas en métodos convencionales.

7.  CONFIGURACIÓN DEL EQUIPO COORDINADOR Y PANEL DE EXPERTOS

El método Delphi se sustenta tanto en la configuración del panel de expertos que van a participar en el estudio como en el proceso iterativo a base de diversas rondas. Según la bibliografía revisada (Varela-Ruiz et al., 2012), el número de integrantes del grupo coordinador de un estudio Delphi varía de 2 a 5 personas. Las funciones de este equipo coordinador son: establecer el esquema de trabajo, la selección y reclutamiento de expertos, establecer el cronograma del estudio, la elaboración y redacción de los cuestionarios, la detección y corrección de posibles errores de funcionamiento e interpretación de los resultados. El equipo coordinador también debe controlar toda la información que produce el estudio, tanto la aportada por los expertos como la reportada por el equipo coordinador (hechos relevantes, datos, informes) y la información estadística cuantitativa integrada (O´Halloran et al., 1999; Landford, 1972; Martino, 1972). En estudios basados en el método Delphi realizado en Taiwán en 2006 y recogido por Wen & Shih (2008), se desprende, como una de sus principales conclusiones, que la selección de los participantes del estudio Delphi es una fase crítica y es el aspecto con mayor impacto en el resultado. Según Powell (2002) la calidad y el número de miembros del panel son las claves de la técnica.

Respecto a la formación del panel de expertos, se define “experto” como alguien que tiene conocimiento en un determinado campo; debe ser competente y relevante respecto al área bajo estudio (Balasubramanian & Agarwal, 2012). Señalar que, la aplicación de los criterios será distinta según el objeto y campo del estudio. Lo más importante en la calidad del grupo de expertos parece ser su capacidad de profundizar, contextualizar y de plasmar sus opiniones sobre la cuestión a estudio relacionándolo con su experiencia en el tema.
Respecto al número de participantes que deben participar en el panel de expertos hay numerosas opiniones en la bibliografía. Ya en los orígenes del Delphi se puso énfasis en determinar el número deseable de participantes. Las opiniones incluyen desde los grupos amplios, defendidos por O´Halloran et al., 1999 y  Sekaran, 2013), de 7 a 100; hasta la crítica a los grupos demasiado pequeños realizada por Ludwig (1997), que afirma que menos de 5 personas sería demasiado poco. En la mayoría de los estudios se opta por un número intermedio de participantes, entre 10 y 30, dependiendo de si los grupos son uniformes o no (Dalkey et al., 1972). Autores como Linstone & Turoff (1975) recomiendan un panel de entre 15 a 30 participantes de la misma disciplina, o de 5 a 10 por cada grupo diferente de expertos. Otros autores (Syed & Camp ,2012; De Villiers et al., 2005; Okoli & Pawlowski, 2004) recomiendan de 10 a 18 participantes por grupo. Delbecq et al. (1975) recomiendan usar el número mínimo suficiente de participantes, de 10 a 15 sujetos sería adecuado si contaran con una formación y experiencia similar, pero si los “backgrounds” son diferentes se necesitaría un mayor número de sujetos. Varela-Ruiz et al. (2012) apuntan a un número ideal comprendido entre un mínimo de 7 y un máximo de 30, y sin descartar la posibilidad de abandono y para amortiguar el efecto lo máximo posible, se sugiere incluir por escrito los objetivos del estudio, los pasos del método, el número de cuestionarios, la duración del proceso, el potencial beneficio del estudio, etc.
La filosofía es la fidelización máxima de los participantes de una forma u otra. Si el número es demasiado pequeño, no se considerará que es una muestra representativa del grupo al que pertenecen. Si la muestra, por el contrario, es demasiado grande, los problemas de baja tasa de respuesta, los grandes bloques de respuesta y el largo tiempo de espera de respuesta de los participantes pueden suponer algo problemático (Hsu & Sandford, 2007). El procedimiento de selección de los expertos dependerá pues, del criterio del grupo coordinador y del tipo de estudio que se quiera llevar a cabo.
Por último, hay que hacer notar que en su proceso de selección, aparece inicialmente el problema de la polisemia que connota el propio término “experto”; de ahí la precaución que se debe tener en su elección, y los criterios a movilizar para ello. Dentro de estos criterios algunos a contemplar son: conocimiento y experiencia que tengan en la temática, experiencia profesional, voluntad de querer participar en el estudio, su disponibilidad de tiempo; comprometerse a la participación en todas las rondas que se establezcan, años de experiencia en la temática concreta, y su capacidad de comunicación efectiva (Almenara & Moro, 2014).

8. DISEÑO Y ESTRUCTURA DEL MÉTODO DELPHI

El método se caracteriza por ejecutarse en varias fases o rondas (Gould 2003; Varela- Ruiz et al. 2012; Hsu & Sandford 2007; Okoli & Pawlowski, 2004). En principio, la cantidad de rondas a efectuar depende del tipo de estudio a realizar. A continuación se describe el método que involucra más rondas.

 

Empieza con un cuestionario que incluye una pregunta abierta, y a su vez puede contener un número variable de preguntas asociadas que faciliten o concreten la pregunta y que van desde 1 hasta 15: ventajas, causas, principios, problemas, etc. El cuestionario puede administrarse vía web, email, en papel o en el formato que resulte más conveniente. Después de recibir las respuestas de los participantes, el investigador tiene que procesar la información recopilada y transformarla en un cuestionario estructurado. Este cuestionario es el que se utiliza en la segunda ronda (Hsu & Sandford, 2007). Los criterios para elaborar este segundo cuestionario pueden ser la frecuencia de las ideas expuestas o su agrupación por categorías, o cualquier otro criterio que el investigador considere relevante (Gould, 2003).

 

Con las respuestas recibidas de la primera ronda se elabora el segundo cuestionario. La metodología se basa en preguntas claras, precisas, y con cuidado de no inducir respuestas. Cada participante recibe el segundo cuestionario donde, a diferencia del primero, se buscan respuestas cerradas, para obtener resultados objetivos que puedan traducirse numéricamente. Así pues, el método Delphi puede pedir en esta fase una de las siguientes acciones:

El resultado de esta ronda es la identificación de las áreas de acuerdo y desacuerdo.

Se integran las respuestas de los expertos, bien para retroalimentación de resultados intermedios o bien para resultados finales. La valoración más usada es la tendencia central de los valores asignados. Cada participante recibe ahora un cuestionario con un resumen de la ronda anterior y se le pide que lo revalúe o que especifique sus razones para su desacuerdo. En esta ronda se les da a los participantes la opción de dar explicaciones sobre su evaluación de los ítems. Sin embargo, respecto a la anterior ronda se espera poco incremento del consenso en esta fase.

En esta última ronda, se distribuye la lista de los ítems, su evaluación, su clasificación, las opiniones minoritarias y los ítems en los que se llega a un consenso. Esta ronda representa la última oportunidad para los participantes de revisar sus evaluaciones. Resaltar aquí que el número de iteraciones en los estudios Delphi depende del grado de consenso alcanzado y puede variar desde 3 hasta 5.
Según la bibliografía revisada (Martino, 1972; Ludwig, 1997; Delbecq et al., 1975) debería haber entre 2 y 10 rondas. Por lo general se hacen 2 ó 3 rondas de media. Se pueden emplear diferentes parámetros para establecer el número de rondas óptimo en un estudio, dependiendo de su desarrollo en cada caso concreto (Landeta, 2002). También, en relación a la duración, Ulschak (1983) recomienda un mínimo de 45 días de duración del estudio, y otros como Delbecq et al. (1975) insisten en dejar pasar al menos dos semanas entre cada ronda del estudio Delphi.

 

Este informe, según lo establecido en el método Delphi, debe contener (Varela- Ruiz et al., 2012):

9. EL ANÁLISIS DE LOS RESULTADOS Y EL CONSENSO EN EL MÉTODO.
Una vez recogidos los datos, ha llegado el momento de organizarlos, analizarlos y dotarlos de significado para poder cumplir con los objetivos de nuestro proceso de investigación: conocer y explicar la realidad. Normalmente, los principales instrumentos estadísticos en los estudios Delphi son las medidas de tendencia central y el nivel de dispersión (desviación estándar y rango intercuartílico) para presentar la información de los juicios y valoraciones de los participantes (Hasson et al., 2000). Generalmente, el uso de la media y la moda es el preferido, aunque la mediana también es elegida en la literatura revisada, y basada en una escala Likert (Fernández-Manzano et al., 2014; Jacobs, 1996).
En relación al consenso que se espera alcanzar con el Delphi, los teóricos sobre metodología defienden que las opiniones de los expertos dentro de una estructura formal generan una verdad objetiva con más probabilidad que a la que se puede llegar de un modo menos formal, que por otra parte, suele ser lo más habitual.
Hay varias técnicas a seguir en relación a evaluar el consenso al que se llega:

son los tres más destacados.
El método Delphi y la técnica del grupo nominal son los dos métodos de consenso con una historia más larga (Cramer et al., 2008), y suelen utilizar la síntesis de información a partir de la evidencia del conflicto. Estos métodos de consenso están fundamentalmente interesados en conseguir estimaciones cuantitativas a partir de estrategias cualitativas. El método Delphi se enfoca en medir el consenso, pero a diferencia de la técnica del grupo nominal sin las limitaciones de los métodos habituales como los comités, que están liderados por los poderes de dominación personales e individuales e influenciados por la personalidad de cada participante (Van et al., 2006). Uno de los criterios que se recomienda que el consenso se considere teniendo un 80% de los sujetos en 2 categorías dentro de una escala de 7 puntos (Ulschak, 1983). Green (1982) sugiere que al menos el 70% de los sujetos puntúen 3 o más en una escala de 4 puntos tipo Likert y la mediana resultante en 3.25 o más (Hsu & Sandford, 2007; Van et al., 2006).

10. APLICACIONES DEL MÉTODO DELPHI A LA EDUCACIÓN

En la literatura puede encontrarse que el método Delphi ha sido aplicado en múltiples campos, por ejemplo: programas de planificación, necesidades de evaluación, determinación política y utilización de recursos. Delbecq et al. (1975) indicaron que el método Delphi podía ser específicamente usado para lograr los siguientes objetivos:

 

Actualmente, las áreas de conocimiento en los que existe aplicación de esta metodología con mayor difusión son fundamentalmente, biotecnologías, energías, tratamiento de residuos industriales, agroquímica, desarrollo de nuevos materiales, identificación de polos de desarrollo y nuevas tecnologías (Mohedano, 2013), transporte, banca y finanzas, administración de empresas e inversión extranjera, sociedad de la información y medios de comunicación (Hsu & Sandford, 2007; Gordon, 2012). El Delphi ha demostrado ser un método útil y flexible para alcanzar consensos en áreas de incertidumbre o de falta de evidencia empírica, tal es el caso de su utilización en diferentes disciplinas científicas, que van desde la medicina (Wilson et al 2012, Syed et al 2009, 2010, Chair, 2000, Cramer et al 2008), administración pública (Coccia, 2001), marketing (Story et al., 2001), sobre el futuro de determinadas industrias (Vincent-Wayne, 1992), o la difusión de las tecnologías en la sociedad (Cuhls & Kuwahara, 1994).
Como ya se ha comentado, el método Delphi es una herramienta versátil que permite su utilización en múltiples campos y en cualquiera de las versiones que existen (Gordon, 2012). El método Delphi abarca estudios referidos a distintos niveles educativos, que se centran en analizar currículos o describir competencias de alumnos o docentes. Los análisis Delphi relativos a problemáticas educativas se remontan a los años 60, con el trabajo de Dalkey (1968) y posteriormente validando competencias de los docentes (Simpson & Brown, 1977) o las competencias relativas a la enseñanza en educación superior (Simpson & Smith, 1993), a modo de ejemplo.
Ya en el presente siglo XXI, se encuentran numeroso estudios que ha utilizado el método como herramienta en investigación educativa. Así se constata tras una búsqueda en el primer semestre de 2016 en la Web Of Science en la que para el área Education & Educational Research, durante los años 2011-2015, se obtienen del orden de 260 artículos con el descriptor “delphi technique” (Gómez, 2016).
            Algunos estudios que podemos mencionar llevados a cabo con esta técnica Delphi son:

Pero especial atención merecen los estudios en relación a la educación en contextos de e-learning y formación en tecnologías de la información y la comunicación (TIC) aplicadas a la educación donde se encuentran numerosas aplicaciones de la metodología Delphi (Cabero et al. 2008; Barroso & Cabero, 2010; Cabero-Almenara & Llorente-Cejudo, 2015; Bhuasiri et al. 2012; Skulmoski et al. 2007; Berganza & Ruiz, 2005; Romero 2012;  Martínez, 2003; Almenara & Moro, 2014).
En la bibliografía, se encuentran trabajos que demuestran que la técnica de Delphi es útil en contextos educativos en la formación de pautas, normas y en la predicción de tendencias (Green, 2014; Sola Martínez et al., 2017) y competencias (Smith, & Simpson, 1995). Pero al centrar la búsqueda más específicamente en líneas de investigación sobre la enseñanza-aprendizaje en ciencias, no es frecuente encontrar trabajos desarrollados a través de la técnica Delphi, a pesar de las ventajas que representa y su gran espectro de aplicación. En la revisión realizada, se localizan investigaciones que abordan el análisis de diferentes aspectos y enfoques de la enseñanza de ciencias para mejorar la formación científica de los ciudadanos.
Son de vital interés los trabajos realizados con la metodología Delphi por Osborne et al. (2001, 2003) y Collins et al. (2001) que aportan unas dimensiones sobre qué se debería enseñar en cuestiones de ciencia a los estudiantes de educación secundaria. Otros estudios recientes en el ámbito de la enseñanza-aprendizaje de las ciencias son los Abualrob & Daniel (2013), Post et al. (2011), Bolte (2008), Bolte & Schulte (2011, 2012, 2013), Schulte et al. (2013), Schulte (2015), Gorghiu et al. (2013); Plaza et al. (2012, 2013); Keinonen et al. (2013), Kapanadzne et al. (2015), Ozdem-Yilmaz  & Cavas, (2016), Mühlenhoff  et al. (2014), Charro et al. (2013, 2014) y Chang Rundgren & Rundgren (2017).

 

11. CONCLUSIONES

El método Delphi ha mostrado tener una gran eficacia y potencialidad como método de investigación desde las primeras aplicaciones, y tanto su difusión y desarrollo se han incrementado en las últimas décadas. En el ámbito educativo resulta ser una herramienta muy útil, ya que permite obtener información acerca de la realidad de un tema con lo que en opinión de un variado grupo de participantes conectados con el tema en cuestión, opina que sería deseable o debería de ser modificado para su mejora y alcanzar los objetivos perseguidos.

BIBLIOGRAFÍA

Abualrob, M.M.A. & Daniel, E.G.S. (2013). The Delphi Technique in Identifying Learning Objectives for the Development of Science, Technology and Society Modules for Palestinian Ninth Grade Science Curriculum. International Journal of Science Education, 35 (15), 2538-2558.
Aguaded, J.I.  & López, E. (2009). “La evaluación de la calidad didáctica de los cursos universitarios en red: diseño e implementación de un instrumento”. Enseñanza & Teaching: Revista Interuniversitaria de Didáctica. 27, 1, 95-114.
Almenara, J. C., & Moro, A. I. (2014). Empleo del método Delphi y su empleo en la investigación en comunicación y educación. Edutec. Revista Electrónica de Tecnología Educativa, (48).
Balasubramanian, R.; & Agarwal, D. (2012). Delphi Technique, A review. International Journal of Public Health Dentistry, 3(2),16-25.
Barroso, J.; & Cabero, J. (2010). La investigación educativa en TIC. Madrid: Síntesis.
Berganza, M.R.; &  Ruiz, J.A. (2005). Investigar en comunicación. Madrid: McGraw-Hill.
Bhuasiri, W.; Xaymoungkhoun, O.; Zo, H.; Rho, J.J.; & Ciganek, A. P. (2012). Critical success factors for e-learning in developing countries: A comparative analysis between ICT experts and faculty. Computers & Education. 58, 843-855.
Blasco, J.E.; Mengual, A. & López, A.(2010). “Validación mediante el método Delphi de un cuestionario para conocer las experiencias e interés hacia las actividades acuáticas con especial atención al Winsurf. Agora para la educación física y el deporte. 12, 75-94.
Bolte, C. (2008). A Conceptual Framework for the Enhancement of Popularity and Relevance of Science Education for Scientific Literacy, based on Stakeholders’Views by Means of a Curricular Delphi Study in Chemistry. Science Education International, 19(3), 331-350.
Bolte, C. & Schulte, T. (2011). PROFILES Curricular Delphi Study on Science Education. Interim Report on the First Ronda of the FUB Working Group. Polyscript (Status July 2011).
Bolte, C. & Schulte, T. (2012). European Stakeholders Views on Inquiry-based Science Education – Methods and Results from the International PROFILES Curricular Delphi Study in Science Education Round. En C. Bolte, J. Holbrook y F. Rauch. Inquiry-based Science Education in Europa: Reflection from de Profiles Project. Berlin: Freie Universität Berlin.
Bolte, C. & Schulte, T. (2013). Stakeholders’ views on science education in Europe: Method and first insights of the profiles international curricular Delphi study on science education. ESERA Conference Proceedings. Strand 8, 131-142.
Brooks, K. W. (1979). Delphi technique: Expanding applications. North Central Association Quarterly, 54 (3), 377-385
Cabero Almenara, J., & Llorente Cejudo, M. D. C. (2015). Entornos Personales de Aprendizaje (PLE): Valoración Educativa a través de Expertos.
Cabero Almenara, J.; & Infante Moro, A. (2014). Empleo del método Delphi y su empleo en la investigación en comunicación y educación. Edutec, 48, 1-16.
Cabero, J., Ballestero, C., Barroso, J., Llorente, M., Morales, J., Román, P.; & Romero, R. (2008). “Creación de una guía de evaluación/autoevaluación de centros de recursos universitarios de producción de tics en la enseñanza”. Pixel-Bit. Revista de Medios y Educación. 32, 35-55.
Cea D'Ancona, M. (1998): Metodología cuantitativa, Madrid, Síntesis.
Chair W. (2000). National Delphi Study on public health functions in Australia. National Public Health Partnership. Melbourne, Australia.
Chang Rundgren, S. N., & Rundgren, C. J. (2017). What are we aiming for?—A Delphi study on the development of civic scientific literacy in Sweden. Scandinavian Journal of Educational Research, 61(2), 224-239.
Charro, E.; Gómez-Niño, A.; Plaza S. & Padilla, Y. (2013). Un análisis de la enseñanza de las ciencias en el ámbito no universitario mediante un estudio Delphi. En: Retos y perspectivas en la enseñanza de las ciencias. Editorial Educación Editora. Editores P. Membiela y cols. 319-322.
Charro, E.; Plaza, S. & Gómez-Niño, A. (2014). The Delphi Technique used to improve teaching and learning of science in Spain. En: Science Teachers‘ Continuous Professional Development in Europe. Bolte, C., Holbrook, J., Mamlok-Naaman, R., Rauch.
Charro Huerga, E. (2016). La Educación para la Salud en la formación del maestro de Primaria. Un estudio con el método Delphi. Tesis doctoral. Universidad de Valladolid.
Charro Huerga, E., Charro, E. & Gómez-Niño, A. (2013). El método Delphi como herramienta de diseño curricular de la educación para la salud en la formación del profesor de Primaria. Enseñanza de las Ciencias. Numero Extra “Un compromiso con la sociedad del conocimiento” 904-908.
Coccia, M. (2001). “A tool for measuring the perfomance in the R&D organizations”. Management of Engineering and Technology. PICMET´01 Portland International Conference, 2, 160-167.
Collins, S.; Osborne, J.; Ratcliffe, M.; Millar, R. & Duschl R. (2001). What ‘ideas-about- science’ should be taught in school science? A Delphi study of the expert community. Paper  presented at the Annual Conference of the American Educational Research Association. USA.
Cramer, C.K.; Klasser, G.D.; Epstein J.B. & Sheps S.B. (2008). The Delphi Process in Dental Research. J Evid Base Dent Pract, 8, 211-220.
Cuhls, K. (2011). Delphi method. Fraunhofer Institute for Systems and Innovation Research, Germany.  www.unido.org/fileadmin/import/16959_DelphiMethod.pdf .
Custer, R.  L.; Scarcella, J.  A &; Stewart, B. R.  (1999).The modified Delphi technique:  A rotational modification. Journal of Vocational and Technical Education, 15 (2), 1- 10.
Cyphert, F.R. & Gant, W. L. (1971). The Delphi technique: A case study. Phi Delta Kappan, 52, 272-273.
Czinkota, M.R. & Ronkainen, I.A. (1997) International business and trade in the next decade: Report from a Delphi Study. Journal of International Business Studies, 28 (4) 827-844.
Dalkey, N. C. (1968). Predicting the future (p. 3948). Santa Monica, California: Rand Corporation.
Dalkey, N. & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458–467.
Dalkey, N.C.; Rourke, D.L.; Lewis, R. & Snyder, D. (1972). Studies in The Quality of Life: Delphi and Decision-making. Lexington: Lexington Books 35(5): 233-239
De Villiers M.; Pierre JT.; De Villier, L.; Athol, P. & Kent, M. (2005). The Delphi technique in health sciences education research. Med Teach, 27(7), 639-643.
Delbecq, A.; Van de Ven, A. & Gustafon, D. (1975). Group Technique for Program Planning: A guide to Nominal Group and Delphi Process. Glenview: Scott-Foresman.
Fernández-Manzano, L.; Talavera, M.; Furió, C. & Gavidia, V. (2014). La higiene en el currículo escolar de la educación Obligatoria española. Didáctica de las ciencias experimentales y sociales, 28, 243-262.
Geist, M.R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, 33(2), 147- 154
Gilson, N.; Brown, G.F.; Mckenna, J.; Murphy, M.; Pringle; A. & Proper, K. (2009). The International universities Walking Project: Development of a Framework for Workplace Intervention Using the Delphi Technique. Journal of Physical Activity and Health, 6, 520-528.
Gómez, E. L. (2016). El método Delphi en la investigación actual en educación: Una revisión teórica y metodológica. Educación XX1.
González, M.J. (1997): Metodología de la investigación social. Aguaclara. Alicante
Gordon, TJ. (2012). The Delphi method. The Millennium Project Futures Research Methodology, 3, 1-29.
Gordon, T. & Pease, A. (2006). RT Delphi: an efficient, “round-less” almost real time Delphi method. Technological Forecasting and Social Change, 73(4), 321–333.
Gorghiu, L.M.; Gorghiu, G.; Olteanu, R.L.; Dumitrescu C.; Suduc, A.M. & Bizoi, M. (2013). Delphi Study - A Comprehensive Method for Outlining Aspects and Approaches of Modern Science Education. Procedia-Social and Behavioral Sciences, 83, 535- 541.
Gould, D. (2003). Delphi study methodology. Fifth Generation Work - Virtual Organization, Leadership in Virtual Teams, Chapter 3, 76-90.
Green, P. J. (1982). The content of a college-level outdoor leadership course. Paper presented at the Conference of the Northwest District Association for the American Alliance for Health, Physical Education, Recreation, and Dance, Spokane, WA.
Green, R. A. (2014). The Delphi technique in educational research. SAGE Open, 4(2), DOI: https://doi.org/10.1177/2158244014529773
Gupta, U. G., & Clarke, R. E. (1996). Theory and applications of the Delphi technique: A bibliography (1975–1994). Technological forecasting and social change, 53(2), 185-211.
Hasson, F.; Keeney, S.& McKenna, H. (2000). Research guidelines for the Delphi survey technique. Journal of Advanced Nursing, 32(4), 1008–1015.
Helmer, O., & Gordon, T. J. (1964). Report on a long-range forecasting study. The RAND Corporation, Santa Monica, Calif. P-2982, 45.
Helmer, O., & Quade, E. S. (1963). An approach to the study of a developing economy by operational gaming (No. RAND-P-2718). RAND CORP SANTA MONICA CA.
Helmer, O., & Rescher, N. (1959). On the epistemology of the inexact sciences. Management science, 6(1), 25-52.
Hsu, CC. & Sandford, B.A. (2007). The Delphi Technique: Making Sense of consensus. Practical Assessment, Research and Evaluation 12(10), 1-8.
Jacobs, J. M. (1996). Essential assessment criteria for physical education teacher education programs: A Delphi study. Unpublished doctoral dissertation, West Virginia University, Morgantown.
Keinonen, T.; Kukkonen, J.; Schulte, T. & Bolte, C. (2013). Stakeholders’ views of science education:  Finnish  PROFILES  curricular  Delphi  study  -  Second  round ESERA Conference Proceedings. Strand 8. 160-171.
Landeta, J. (2002). El método Delphi. Una técnica de previsión del futuro. Barcelona. Ariel. 31-35; 93-94.
Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological forecasting and social change, 73(5), 467-482.
Landford, H.W. (1972). Technological Forecasting Methodologies: A Synthesis. USA: American Management Association.
Lee, Y.F. (2009). “Competencies needed by Korean HRD Master´s Graduates: A comparasion between the ASTD WLP Competency Model and the Korean Study”. Human Resource Development Quarterly. 20, 1.
León, G., & Montero, I. (2004). Métodos de investigación en Psicología y Educación. Madrid: McGraw-Hill.
Linstone, H. & Turoff, M. (1975). The Delphi Method:  Technique and Applications. Massachusetts: Addison-Wesley.
Ludwig, B. (1997). Predicting the future: have you considered using the Delphi methodology? Journal of Extension, 35(5).
Martínez, E. (2003). La Técnica Delphi como estrategia de consulta a los implicados en la evaluación de programas. Revista de Investigación Educativa, 21(2), 449-463.
Martino, J.P. (1972). Technologies Forecasting for Decision Making. New York: American Elsevier Publishing Company Inc.
Martorella, P. (1991). Consensus building among social educators: A Delphi study. Theory and Research in Social Education, 19, 83–94.
McGill, J. (1998). Developing leisure identity: A pilot project. Brampton, ON: Brampton Caledom Community Living.
Mediavilla Saldaña, L. & García García, J.M. (2013). Diseño, creación y validación de una entrevista para obtener datos biográficos, de carácter deportivo-militar, de los militares que participaron en unos juegos olímpicos. Journal of Sport and Health Research, 5(2), 157-166.
Mengual, S. (2011): La importancia percibida por el profesorado y el alumnado sobre la inclusión de la competencia digital en educación Superior, Alicante, Departamento de Didáctica General y Didácticas específicas de la Facultad de Alicante
Meyrick, J. (2003). The Delphi method and health research. Health Education, 103 (1), 7- 16.
Mohedano, F. O. (2013). El método Delphi, prospectiva en Ciencias Sociales a través del análisis de un caso práctico. Revista EAN, (64), 31-54.
Moreno E. (2002). “La técnica "Delphi" en la evaluación de necesidades: una aplicación al tratamiento del género en los centros escolares”. Bordón. 54, 1, 83-94.
Mühlenhoff, T., Schulte, T., Bolte, C., Keinonen, T., Gorghiu, G., Kapanadze, M. & Charro, E. (2014). A Comparative Analysis of Stakeholders’ Views on Science Education from five Different PROFILES Partner Countries – Results of the Second Round of the PROFILES Curricular Delphi Study on Science Education, En C. P. Constantinou, N. Papadouris, A. Hadjigeorgiou (Eds.), E-Book Proceedings of the ESERA 2013 Conference: Science Education Research For Evidence-based Teaching and Coherence in Learning. Part 8 (Ossevoort, M.  & Nielsen, J. A.), (185-196) Nicosia, Cyprus: European Science Education Research Association.
Murray, J. W. & Hammons, J. 0 (1995). "Delphi: A versatile methodology for conduct- ¡ng qualitative research", The Review of Higher Education, 18(4), 423-436.
O’Halloran, C.; Stewart, J.; Harrigan P.; Spencer J.A. & Barton J.R. (1999). Identifying appropriate tasks for the preregistration year. British Medical Journal, 319, 224– 229.
Okoli, C. & Pawlowski, SD. (2004). The Delphi method as a research tool: an example, design considerations and applications. Information and Management 42, 15-29.
Osborne, J.F., Ratcliffe, M., Collins, S., Millar, R., & Duschl, R. (2001). What should we teach about science? A Delphi study. London: King’s College.
Osborne, J. F.; Ratcliffe, M.; Collins, S.; Millar, R. & Dusch, R. (2003). What ‘‘Ideas-about- Science’’ Should Be Taught in School Science? A Delphi Study of the Expert Community. Journal of Research in Science Teaching, 40(7), 692-720.
Ozdem-Yilmaz Y. &  Cavas B. (2016) Pedagogical desirable science education: views on inquiry-based science education in Turkey. Journal of Baltic Science Education 15 (4) 506-522.
Pérez de Eulate, L.; Llorente, E.; Gavidia, V.; Caurín, C. & Martínez, M.J. (2015). ¿Qué enseñar en la educación obligatoria acerca de la alimentación y la actividad física? Un estudio con expertos. Enseñanza de las Ciencias, 33(1), 85-100.
Pérez Gómez, A.I. (2000). La función y formación del profesor/a en la enseñanza para la comprensión. Diferentes perspectivas, en J. Gimeno Sacristán & A.I. Pérez Gómez, Comprender y transformar la enseñanza, 398-429. Madrid: Morata.
Plaza, S., Charro, E. & Gómez-Niño, A. (2012) Improving teaching and learning of Science: a spanish Delphi study within PROFILES. En Bolte, C., Holbrook, J., Rauch, F. (Eds.), Inquiry-based Science Education in Europe: Reflections from the profiles Project. 155-156. Berlin: Freie Universität Berlin. ISBN: 978-3-00-039403-4
Plaza, S., Charro, E. & Gómez-Niño, A. (2013). La enseñanza de las ciencias en educación secundaria: un estudio mediante la técnica Delphi. Enseñanza de las Ciencias. Numero Extra “Un compromiso con la sociedad del conocimiento” 898-903.
Post, A., Rannikmae, M., & Holbrook, J. (2011). Stakeholder Views on Attributes of Scientific Literacy Important for Future Citizens and Employees--A Delphi Study. Science Education International, 22(3), 202-217.
Powell, C. (2002). Methodological issues in nursing research. The Delphi technique: myths and realities. J Adv Nurs 41(4), 376-382.
Pozo, M.T.; Gutiérrez, J. & Rodríguez, C. (2007). El uso del método Delphi en la definición de los criterios para una formación de calidad en animación sociocultural y tiempo libre. Revista de Investigación Educativa, 25 (2), 351-366
Reguant-Álvarez, M., & Torrado-Fonseca, M. (2016). El mètode Delphi. REIRE. Revista d'Innovació i Recerca en Educació, 9(1), 87.
Romero (2012). “El método Delphi y la formación del profesorado en TIC”. Global, 9, 44, 81-93.
Royo, M. & Bigné, E. (2002). Una propuesta consensual de las categorías para el análisis informativo de la publicidad. Revista Europea de Dirección y Economía de la Empresa, 11, 2, 95-118.
Sánchez, M.; & De Frutos, B. (2011). La convergencia de metodologías para el estudio de los efectos de la publicidad en medios interactivos, En Actas – III Congreso Internacional Latina de Comunicación. Social – III CILCS, http://www.revistalatinacs.org/11SLCS/actas_2011_IIICILCS/097_Valle.pdf (6/01/2014).
Schmidt, S., Gil J., & Islas, M.A. (2012). Estudio Delphi sobre educación en México, disponible en http://www.educacionyculturaaz.com/analisis/estudio-delphi-sobre-la-educacion-en-mexico/(6/01/2014).
Schulte, T. (2015). Desirable Science Education Findings from a Curricular Delphi Study on Scientific Literacy in Germany. Berlin: Springer Spektrum.
Schulte, T.; Bolte, C.; Keinonen T.; Gorghiu G.; Kapanadze M. & Charro E. (2013). A comparative analysis of stakeholders’ views  on  science  education  from  five different partner countries - Results of the second round of the international PROFILES curricular Delphi study on science education ESERA Conference Proceedings. Strand 8. 185-196.
Sekaran, U. (2013). Research Methods for Business (4th ed.) Hoboken, New Jersey: John Wiley & Sons.
Simpson, R. D. & Brown, D. R. (1977). Validating science teaching competencies using the Delphi method. Science Education, 61(2), 209-219.
Simpson, R. D. & Smith, I. S. (1993). Validating teaching competencies for graduate teaching assistants: A national study using the Delphi Method. Innovative Higher Education, 18(2), 133-146.
Skulmoski, G. J.; Hartman, F. T.; & Krahn, J. (2007). The Delphi method for graduate research. Journal of Information Technology Education, 6, 1–21.
Smith, K.S. & Simpson, R.D. (1995). Validating teacher competencies for faculty members in higher education: A national study using Delphi study methods. Innovative Higher Education 19, 223–234.
Sola Martínez, T., Nniya El Berdai, M., Moreno Ortiz, A., & Díaz de la Guardia, J. J. R. (2017). Valoración del profesorado de educación secundaria de la ciudad de Tetuán sobre la formación en TIC desarrollada desde el Ministerio de Educación Nacional. Pixel-Bit. Revista de Medios y Educación, (50).
Steward, J.; O’Halloran, C.; Harrigan, P. & Spencer, J.A. (1999). Identifying appropriate tasks for the preregistration year: Modified Delphi Technique. British Medical Journal, 319 (7204), 224-229.
Story, V., Hurdley, L., Smith, G. & Saker, J. (2001) “Methodological and practical implications of the delphi technique in marketing decision-making: a re-assessment”. The Marketing Review. 1, 487-504.
Syed, A. M. & Camp, R. (2012). The POLKA Delphi Study - Policy Recommendations on Rare Diseases. 1 – 61.
Syed, A.M.; Hjarnoe, L. & Aro, A.R. (2009). The Delphi Technique in developing international health policies: Experience from the SARS Control Project. The Internet Journal of Health, 8(2).
Syed, A.M.; Hjarnoe, L.; Krumkamp, R.; Reintjes, R. & Aro, A.R. (2010). Developing policy options for SARS and SARS-like diseases, a Delphi study. Global Public Health16, 1-13.
Ulschak, F.L. (1983). Human resource development: the theory and practice of need assessment. Reston Pub. Co., Editor.
Valle, J.; & Manso, J. (2011). “La nueva formación inicial del profesorado de Educación Secundaria: modelo para la selección de buenos centros de prácticas". Revista de Educación, 354, 267-290.
Van, E.; Pitchforth, T.; Bishop, C. & Russell, E. (2006). Delphi method and nominal group techniques in family planning and reproductive health research. J Family Planning Reprod Health Care 32(4), 249-252.
Varela-Ruiz, M.; Díaz-Bravo, L. & García-Durán, R. (2012). Descripción y usos del método Delphi en investigaciones en el área de la salud. Inv Ed Med, 1(2), 90-95.
Vincent-Wayne, M. (1992). “Using Delphi to forecast in the new technology industries”. Marketing Intellingence & Planning. 10, 2, 4-9.
Vio, F.; Lera, L.; Fuentes-García, A. & Salinas, J. (2012). Método Delphi para identificar materiales educativos sobre alimentación saludable para educadores, escolares y sus padres (Delphi method to identify education material on healthy food for teachers, school-age children and their parents). Archivos Latinoamericanos de Nutrición, 62 (3), 275-282.
Wen, J.R. & Shih, W.L. (2008). Exploring the information literacy competence standars for elementary and high school teachers. Computers & Education, 50, 787–806.
Wheelwright, S. C., & Makridakis, S. G. (1978). Interactive Forecasting: Univariate and Multivariate Methods. Holden-Day.
Wilson, S.; Hauck, Y.; Bremner, A. & Finn, J. (2012). Quality nursing care in Australian pediatric hospitals: A Delphi approach to identifying indicators. J Clin Nur 21 (11- 12), 1594-605.
Zolingen, S. & Klaassen, C. (2003). “Selection processes in a Delphi study about key qualifications in Senior Secondary Vocational Education”. Technological Forecasting and Social Change. 70, 4, 317-340.

 

---

Nota Importante a Leer:

Los comentarios al artículo son responsabilidad exclusiva del remitente.
Si necesita algún tipo de información referente al articulo póngase en contacto con el email suministrado por el autor del articulo al principio del mismo.
Un comentario no es mas que un simple medio para comunicar su opinion a futuros lectores.
El autor del articulo no esta obligado a responder o leer comentarios referentes al articulo.
Al escribir un comentario, debe tener en cuenta que recibirá notificaciones cada vez que alguien escriba un nuevo comentario en este articulo.
Eumed.net se reserva el derecho de eliminar aquellos comentarios que tengan lenguaje inadecuado o agresivo.
Si usted considera que algún comentario de esta página es inadecuado o agresivo, por favor, escriba a lisette@eumed.net.
Este artículo es editado por Servicios Académicos Intercontinentales S.L. B-93417426.