Adaptivní maticový test: Porovnání verzí

Z Wiki Katedry psychologie FF UPOL
Skočit na navigaci Skočit na vyhledávání
(Založena nová stránka s textem „ {{DISPLAYTITLE: Adaptivní maticový test}} {| |+ style="text-align: left;" | '''Základní informace''' |- | Název metody (lokální):|| Adaptivní ma…“)
 
 
(Není zobrazeno 11 mezilehlých verzí od 3 dalších uživatelů.)
Řádek 10: Řádek 10:
 
| Autoři adaptace lokalizace: || S. Hoskovcová
 
| Autoři adaptace lokalizace: || S. Hoskovcová
 
|-  
 
|-  
| Lokální vydavatel/ distributor metody: || Assessment System Czech Republic
+
| Lokální vydavatel/distributor metody: || Assessment System Czech Republic
 
|-  
 
|-  
 
| Rok vydání aktuální verze metody: || 2020
 
| Rok vydání aktuální verze metody: || 2020
Řádek 18: Řádek 18:
 
| Původní zkratka metody (<small>jde-li o lokalizaci</small>): || AMT
 
| Původní zkratka metody (<small>jde-li o lokalizaci</small>): || AMT
 
|-  
 
|-  
| Původní autoři metody: || L. F. Hornke, S. Etzel, K. Rettig
+
| Autoři původní metody: || L. F. Hornke, S. Etzel, K. Rettig
 
|-  
 
|-  
 
| Rok vydání původní metody: || 1999
 
| Rok vydání původní metody: || 1999
Řádek 41: Řádek 41:
 
| &nbsp; ||&nbsp; ||&nbsp;  
 
| &nbsp; ||&nbsp; ||&nbsp;  
 
|-  
 
|-  
| style="text-align: left; vertical-align: top;" | Zaměření metody: || colspan="2" | AMT je neverbálny test zameraný na zisťovanie úrovne obecnej inteligencie. Jedná sa o počítačovo administrovanú metódu, ktorá je súčasťou Viedenského testového systému (VTS). Test je určený pre neklinickú populáciu predovšetkým v oblasti dopravnej, leteckej, pedagogickej psychológie a oblasti personalistiky..
+
| style="text-align: left; vertical-align: top;" | Zaměření metody: || colspan="2" | AMT je neverbální test zaměřený na zjišťování úrovně obecné inteligence. Jedná se o metodu administrovanou na počítači, která je součástí Vídeňského testového systému (VTS). Test je určený pro neklinickou populaci, především z oblasti dopravní, letecké a pedagogické psychologie, stejně jako psychologie práce.  
 
|-  
 
|-  
 
| colspan="3" | <hr>  
 
| colspan="3" | <hr>  
 
|-
 
|-
| Psychologická doména: || O || GMA
+
| Psychologická doména: || X || GMA
 
|-  
 
|-  
 
| || O || Struktura inteligence
 
| || O || Struktura inteligence
 
|-  
 
|-  
| || O || Specifické kognitivní funkce, uveďte jaká: .....
+
| || O || Specifické kognitivní funkce, uveďte jaké: .....
 
|-  
 
|-  
| || O || Osobnost - rys
+
| || O || Osobnost rys
 
|-  
 
|-  
| || O || Osobnost - typ
+
| || O || Osobnost typ
 
|-  
 
|-  
| || O || Osobnost - stav
+
| || O || Osobnost stav
 
|-  
 
|-  
 
| || O || Osobnost - dynamika
 
| || O || Osobnost - dynamika
Řádek 76: Řádek 76:
 
|-  
 
|-  
 
| style="text-align: left; vertical-align: top;" | Popis metody: || colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Popis metody: || colspan="2" |  
AMT je maticový test, v ktorom klient dopĺňa deviaty prvok do matice 3x3. Správna je vždy jedna z ôsmich možností, čím sa eliminuje náhodné zvolenie správnej odpovede. Metóda je založená na princípe adaptívneho testovania. Počet a náročnosť položiek sa vyvíja počas testu a vychádza zo správnych a nesprávnych odpovedí na predchádzajúce úlohy. Žiadnemu klientovi by tak nemali byť administrované položky, ktoré sú výrazne mimo jeho výkonovú úroveň. Počet položiek, ktoré klient počas administrácie rieši je premenlivý a závisí najmä na výbere jednej z foriem testu.
+
AMT je maticový test, ve kterém klient doplňuje devátý prvek do matice 3 × 3. Správná je vždy jedna z osmi možností, čímž se eliminuje náhodná volba správné odpovědi. Test využívá princip adaptivního testování. Počet a náročnost položek se vyvíjí v průběhu testu a vychází ze správných a nesprávných odpovědí na předcházející položky. Klient tedy nečelí položkám, které by byly výrazně mimo jeho výkonovou úroveň. Počet položek, které klient v průběhu administrace řeší, je proměnlivý a závisí jak na výkonu klienta, tak na zvolené formě testu.
Metóda má 4 adaptívne formy testu, ktoré sa líšia najmä v presnosti merania a náročnosti štartovacích položiek:
+
Test má 4 adaptivní formy, lišící se přesností měření a náročností startovacích položek.
S1: adaptívna krátka forma (screening)
+
S1: krátká adaptivní forma (screening)
S2: adaptívna štandardná forma
+
S2: adaptivní standardní forma
S3: adaptívna dlhá forma
+
S3: adaptivní dlouhá forma
S11: dopravno-psychologická krátka forma  
+
S11: dopravněpsychologická krátká forma
 
+
Vedle toho jsou k dispozici tři lineární formy bez adaptivního principu:
Popri tom existujú 3 lineárne formy testu:
+
S4: standardní forma s časovým limitem
S4: štandardná forma s časovým limitom
 
 
S5: jednoduchá forma bez časového limitu
 
S5: jednoduchá forma bez časového limitu
 
S6: jednoduchá forma bez časového limitu
 
S6: jednoduchá forma bez časového limitu
Řádek 90: Řádek 89:
 
| colspan="3" | <hr> || ||  
 
| colspan="3" | <hr> || ||  
 
|-  
 
|-  
| Forma administrace: || O || Tužka - papír
+
| Forma administrace: || O || Tužka-papír
 
|-  
 
|-  
 
| || O || Manuální manipulace
 
| || O || Manuální manipulace
Řádek 104: Řádek 103:
 
| || X || Skupinová
 
| || X || Skupinová
 
|-
 
|-
| Délka administrace: ||  colspan="2" | Administrace: 20 - 60 minút (záleží na forme testu)
+
| Délka administrace: ||  colspan="2" | Administrace: 20–60 minut (vyplývá z formy testu)
 
|-  
 
|-  
| || colspan="2" | Vyhodnocení: 0 (Vyhodnotenie prebieha automaticky prostredníctvom počítačového programu)
+
| || colspan="2" | Vyhodnocení: bezprostředně po administraci (vyhodnocení probíhá automaticky prostřednictvím softwaru)
 
|-  
 
|-  
| || colspan="2" | Interpretace: Približne 5 minút
+
| || colspan="2" | Interpretace: přibližně 5 minut s výstupní zprávou
 
|-  
 
|-  
| || colspan="2" | Příprava  výstupní zprávy / zpětné vazby: Automaticky
+
| || colspan="2" | Příprava  výstupní zprávy / zpětné vazby: automaticky bezprostředně po administraci)
 
|-  
 
|-  
 
| colspan="3" | <hr> || ||  
 
| colspan="3" | <hr> || ||  
 
|-  
 
|-  
 
| style="text-align: left; vertical-align: top;" | Normy: ||  colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Normy: ||  colspan="2" |  
Aktuálny anglický manuál obsahuje normy založené na reprezentatívnych súboroch z Nemecka (N=615), Slovenska (N=250), Brazílie (N=436) a Talianska (N=411) pre formy S1, S2, S3, S5, S6, S11. Pre formu S4 k dispozícii normy vytvorené na reprezentatívnom súbore z Poľska (N=348). Všetky spomínané normy k dispozícii od 15 rokov a rozdelené do 15 vekových kategórií. V rokoch 2018 - 2020 boli v Českej republie vytvorené normy pre populáciu profesionálnych šoférov (N=172). Ďalej v manuáli nájdeme aj normy robené na ďalších špecifických skupinách z rôznych krajín.
+
Aktuální manuál v angličtině obsahuje normy založené na reprezentativních souborech z Německa (N = 615), Slovenska (N = 250), Brazílie (N = 436) a Itálie (N = 411) pro formy S1, S2, S3, S5, S6, S11. Pro formu S4 jsou k dispozici normy vytvořené na reprezentativním souboru z Polska (N = 348). Všechny zmíněné normy jsou k dispozici od 15 let a jsou rozděleny do 15 věkových kategorií. V letech 2018–2020 byly v České republice získány normy pro populaci profesionálních řidičů (N = 172). Dále jsou v manuálu i normy rozdělené pro další specifické skupiny z různých zemí.
 
|-  
 
|-  
 
| style="text-align: left; vertical-align: top;"| Doporučené standardní skóry: ||  colspan="2" |  
 
| style="text-align: left; vertical-align: top;"| Doporučené standardní skóry: ||  colspan="2" |  
Metóda je interpretovaná v skórách, ktoré sú odhadmi latentnej úrovne meraného rysu (parametr θ). Jedná sa o ekvivalenty k z-skórom. K dispozícii je aj percentilový skór.
+
Metoda je interpretována ve skórech, které vyjadřují odhad latentní úrovně měřeného rysu (parametr θ). Jedná se o ekvivalenty k z-skórům. K dispozici je také percentilový skór.
 
|-  
 
|-  
 
| width="20%" rowspan="5" style="text-align: left; vertical-align: top;" | Kvalifikační požadavky na použití metody <small>(A, B, C dle www.testcentrum.cz):</small> || width="5%" | O &nbsp; &nbsp; &nbsp; || Kdokoliv
 
| width="20%" rowspan="5" style="text-align: left; vertical-align: top;" | Kvalifikační požadavky na použití metody <small>(A, B, C dle www.testcentrum.cz):</small> || width="5%" | O &nbsp; &nbsp; &nbsp; || Kdokoliv
Řádek 179: Řádek 178:
 
|-
 
|-
 
| style="text-align: left; vertical-align: top;" | Forma dodání metody:|| colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Forma dodání metody:|| colspan="2" |  
Metóda je súčasťou testovej aplikácie VTS. Je poskytovaná na CD/ROM. K metóde je dodávaný užívateľský a technický (psychometrický) manuál. Pre VTS existuje niekoľko licenčných prístupov. Môže ísť o počet administrácií (akýchkoľvek vložených metód) či časovú licenciu.
+
Metoda je součástí testového systému VTS. Je poskytována na CD/ROM. K metodě je dodáván uživatelský a technický (psychometrický) manuál. Pro VTS existuje několik licenčních přístupů. Může jít o počet administrací (jakýchkoli vložených metod) či časovou licenci.
 
|-  
 
|-  
 
| style="text-align: left; vertical-align: top;" rowspan="4" | Náklady na metodu: || X || Jednorázové při nákupu metody
 
| style="text-align: left; vertical-align: top;" rowspan="4" | Náklady na metodu: || X || Jednorázové při nákupu metody
Řádek 192: Řádek 191:
 
|-
 
|-
 
| style="text-align: left; vertical-align: top;" | Validita:|| colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Validita:|| colspan="2" |  
Manuál sa venuje predovšetkým oblasti kriteriálnej a konštruktovej validity. Oblasť obsahovej validity je spomenutá len okrajovo.
+
Manuál se věnuje především oblastem kriteriální a konstruktové validity. Oblast obsahové validity je zmíněna pouze okrajově.<br/>
KONŠTRUKTOVÁ VALIDITA:
+
KONSTRUKTOVÁ VALIDITA:<br/>
- test sýti faktor všeobecnej inteligencie spolu s testami induktívneho a deduktívneho myslenia
+
test sytí faktor obecné inteligence spolu s testy induktivního a deduktivního myšlení. <br/>
- korelácia odhadnutých obtiažností položiek s konštrukčným kritériom = 0,72 (bližšie informácie manuál neposkytuje)
+
– korelace odhadnuté obtížnosti položek s konstrukčním kritériem = 0,72 (bližší informace manuál neposkytuje). <br/>
- autori manuálu považujú za ďalší dôkaz štúdiu, ktorá pomocou faktorovej analýzy zistila, že AMT spolu s testami na induktívne a deduktívne myslenie overuje fluidnú inteligenciu, predovšetkým g-faktor
+
– autoři manuálu považují za další důkaz validity studii, která pomocí faktorové analýzy zjistila, že AMT spolu s&nbsp; testy induktivního a&nbsp; deduktivního myšlení testuje fluidní inteligenci.<br/><br/>
KRITERIÁLNA VALIDITA:
+
KRITERIÁLNÍ VALIDITA.
V manuáli sú popísané štúdie, ktoré potvrdzujú kriteriálnu validitu v oblasti:
+
V manuálu jsou popsány studie, které podporují kriteriální validitu v oblastech:<br/>
a) dopravne-psychologické vyšetrenia
+
a) dopravněpsychologické vyšetření,<br/>
b) letecká psychológia
+
b) letecká psychologie,<br/>
c) personalistiky
+
c) personalistika,<br/>
d) vzdelávania a predikcie akademickej úspešnosti
+
d) vzdělávání a predikce akademické úspěšnosti.<br/>
 
|-  
 
|-  
 
| &nbsp; ||&nbsp; ||&nbsp;  
 
| &nbsp; ||&nbsp; ||&nbsp;  
 
|-
 
|-
 
| style="text-align: left; vertical-align: top;" | Reliabilita:|| colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Reliabilita:|| colspan="2" |  
Reliabilita metódy závisí od formy testu. Adaptívne formy zaisťujú, že každý testovaný je hodnotený rovnakou spoľahlivosťou.  
+
Reliabilita metody závisí na zvolené formě testu. Adaptivní formy zajišťují, že každý testovaný je hodnocen se stejnou spolehlivostí.<br/>
- S1: 0,70
+
S1: 0,70<br/>
- S2: 0,83
+
S2: 0,83<br/>
- S3: 0,86
+
S3: 0,86<br/>
- S11: 0,7; retest: 0,74; retest po 5 mesiacoch: 0,8 (N=82)
+
S11: 0,7; retest: 0,74; retest po 5 měsících: 0,8 (N = 82)<br/>
- S4: 0,74 (N= neznáme)
+
S4: 0,74 (N = neznámé)<br/>
- S5: 0,73 (N=96)
+
S5: 0,73 (N = 96)<br/>
- S6: 0,83 (N=107)
+
S6: 0,83 (N = 107)<br/>
 
|-  
 
|-  
 
| &nbsp; ||&nbsp; ||&nbsp;  
 
| &nbsp; ||&nbsp; ||&nbsp;  
 
|-
 
|-
 
| style="text-align: left; vertical-align: top;" | Zvláštní požadavky pro použití metody:|| colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Zvláštní požadavky pro použití metody:|| colspan="2" |  
Pre používanie metódy (ako aj celého VTS) je nutné vlastniť základný VTS SW. K jeho funkčnej prevádzke je potrebné vlastniť príslušné technické vybavenie, ktorého parametry je možné zistiť u lokálneho distribútora
+
Pro používání metody je nutné vlastnit základní VTS software, do kterého se vkládá AMT jako modul. K funkčnímu provozu VTS je třeba vlastnit příslušný hardware (např. panel pro odpovídání), jehož parametry lze zjistit u lokálního distributora.
 
|-  
 
|-  
 
| colspan="3" | <hr>  
 
| colspan="3" | <hr>  
 
|-  
 
|-  
 
| style="text-align: left; vertical-align: top;" | Zdroje: || colspan="2" |  
 
| style="text-align: left; vertical-align: top;" | Zdroje: || colspan="2" |  
# Seitl, M. (2016). Testové psychodiagnostické metody pro výběr zaměstnanců. Univerzita Palackého v Olomouci.
+
# Seitl, M. (2016). ''Testové psychodiagnostické metody pro výběr zaměstnanců''. Olomouc: Univerzita Palackého v Olomouci.
# SCHUHFRIED. (2020). Manual ADAPTIVE MATRICES TEST.  
+
# SCHUHFRIED. (2020). ''Manual ADAPTIVE MATRICES TEST''.  
# SCHUHFRIED. (2020). Manual ADAPTIVE MATRICES TEST.  
+
# SCHUHFRIED. (2020). ''Manual ADAPTIVE MATRICES TEST''.  
# Ťápal, A., & Gabrhel, V. (2018). Adaptivní maticový test - recenze metody. TESTFÓRUM, 6(11), 37-42. doi: https://doi.org/10.5817/TF2018-11-199
+
# Ťápal, A., & Gabrhel, V. (2018). Adaptivní maticový test recenze metody. ''TESTFÓRUM, 6''(11), 37–42. https://doi.org/10.5817/TF2018-11-199
 
|}
 
|}
  
[[Kategorie:Metody]]
+
[[Kategorie:Metody]][[Kategorie:Testy schopností]]

Aktuální verze z 23. 6. 2022, 10:37


Základní informace
Název metody (lokální): Adaptivní maticový test
Zkratka metody (lokální): AMT
Autoři adaptace lokalizace: S. Hoskovcová
Lokální vydavatel/distributor metody: Assessment System Czech Republic
Rok vydání aktuální verze metody: 2020
Původní název metody (jde-li o lokalizaci): Adaptive Matrices Test
Původní zkratka metody (jde-li o lokalizaci): AMT
Autoři původní metody: L. F. Hornke, S. Etzel, K. Rettig
Rok vydání původní metody: 1999
Popis metody
Oborová klasifikace: X       Psychologie práce
X Psychologie organizace
X Dopravní psychologie
O Forenzní psychologie
X Poradenství pro volbu povolání
O Poradenství pro profesní vzdělávání
O Koučink a osobnostní rozvoj
     
Zaměření metody: AMT je neverbální test zaměřený na zjišťování úrovně obecné inteligence. Jedná se o metodu administrovanou na počítači, která je součástí Vídeňského testového systému (VTS). Test je určený pro neklinickou populaci, především z oblasti dopravní, letecké a pedagogické psychologie, stejně jako psychologie práce.

Psychologická doména: X GMA
O Struktura inteligence
O Specifické kognitivní funkce, uveďte jaké: .....
O Osobnost – rys
O Osobnost – typ
O Osobnost – stav
O Osobnost - dynamika
O Hodnoty a motivace
O Zájmy
O Situační modely chování
O Postoje
O Skupinové procesy
O Agregované skupinové jevy
O Manuální zručnost

Popis metody:

AMT je maticový test, ve kterém klient doplňuje devátý prvek do matice 3 × 3. Správná je vždy jedna z osmi možností, čímž se eliminuje náhodná volba správné odpovědi. Test využívá princip adaptivního testování. Počet a náročnost položek se vyvíjí v průběhu testu a vychází ze správných a nesprávných odpovědí na předcházející položky. Klient tedy nečelí položkám, které by byly výrazně mimo jeho výkonovou úroveň. Počet položek, které klient v průběhu administrace řeší, je proměnlivý a závisí jak na výkonu klienta, tak na zvolené formě testu. Test má 4 adaptivní formy, lišící se přesností měření a náročností startovacích položek. S1: krátká adaptivní forma (screening) S2: adaptivní standardní forma S3: adaptivní dlouhá forma S11: dopravněpsychologická krátká forma Vedle toho jsou k dispozici tři lineární formy bez adaptivního principu: S4: standardní forma s časovým limitem S5: jednoduchá forma bez časového limitu S6: jednoduchá forma bez časového limitu


Forma administrace: O Tužka-papír
O Manuální manipulace
X Na lokální stanici PC
O On-line
     
Způsob administrace: X Individuální
X Skupinová
Délka administrace: Administrace: 20–60 minut (vyplývá z formy testu)
Vyhodnocení: bezprostředně po administraci (vyhodnocení probíhá automaticky prostřednictvím softwaru)
Interpretace: přibližně 5 minut s výstupní zprávou
Příprava výstupní zprávy / zpětné vazby: automaticky bezprostředně po administraci)

Normy:

Aktuální manuál v angličtině obsahuje normy založené na reprezentativních souborech z Německa (N = 615), Slovenska (N = 250), Brazílie (N = 436) a Itálie (N = 411) pro formy S1, S2, S3, S5, S6, S11. Pro formu S4 jsou k dispozici normy vytvořené na reprezentativním souboru z Polska (N = 348). Všechny zmíněné normy jsou k dispozici od 15 let a jsou rozděleny do 15 věkových kategorií. V letech 2018–2020 byly v České republice získány normy pro populaci profesionálních řidičů (N = 172). Dále jsou v manuálu i normy rozdělené pro další specifické skupiny z různých zemí.

Doporučené standardní skóry:

Metoda je interpretována ve skórech, které vyjadřují odhad latentní úrovně měřeného rysu (parametr θ). Jedná se o ekvivalenty k z-skórům. K dispozici je také percentilový skór.

Kvalifikační požadavky na použití metody (A, B, C dle www.testcentrum.cz): O       Kdokoliv
O Kdokoliv po zaškolení, odkaz na kurz: ......
O A
X B
O C

Výstupní zpráva / zpětná vazba
Forma výstupní zprávy: O       Metoda bez výstupní zprávy a bez struktury
O Uživatel připravuje dle definované struktury
X Výstupní zpráva s možností editace uživatelem
O Výstupní zpráva bez možnosti editace uživatelem
     
Výstupní zpráva je k dispozici spolu s metodou: X Ano
O Ne
     
Formát výstupní zprávy: O Text
O Grafika
X Text a grafika
     
Rozsah výstupní zprávy: X Velmi stručný      
O Základní textové interpretace      
O Podrobné textové interpretace    
     
Příjemce zprávy: X Pouze uživatel metody či jiný kvalifikovaný specialista
O Klient
O Třetí strana bez kvalifikace
O Všechny zainteresované strany

Forma dodání metody:

Metoda je součástí testového systému VTS. Je poskytována na CD/ROM. K metodě je dodáván uživatelský a technický (psychometrický) manuál. Pro VTS existuje několik licenčních přístupů. Může jít o počet administrací (jakýchkoli vložených metod) či časovou licenci.

Náklady na metodu: X Jednorázové při nákupu metody
X Opakované při nákupu fyzického materiálu
O Opakované při nákupu on-line administrací včetně vyhodnocení
O Opakované při nákupu on-line vyhodnocení

Validita:

Manuál se věnuje především oblastem kriteriální a konstruktové validity. Oblast obsahové validity je zmíněna pouze okrajově.
KONSTRUKTOVÁ VALIDITA:
– test sytí faktor obecné inteligence spolu s testy induktivního a deduktivního myšlení.
– korelace odhadnuté obtížnosti položek s konstrukčním kritériem = 0,72 (bližší informace manuál neposkytuje).
– autoři manuálu považují za další důkaz validity studii, která pomocí faktorové analýzy zjistila, že AMT spolu s  testy induktivního a  deduktivního myšlení testuje fluidní inteligenci.

KRITERIÁLNÍ VALIDITA. V manuálu jsou popsány studie, které podporují kriteriální validitu v oblastech:
a) dopravněpsychologické vyšetření,
b) letecká psychologie,
c) personalistika,
d) vzdělávání a predikce akademické úspěšnosti.

     
Reliabilita:

Reliabilita metody závisí na zvolené formě testu. Adaptivní formy zajišťují, že každý testovaný je hodnocen se stejnou spolehlivostí.
– S1: 0,70
– S2: 0,83
– S3: 0,86
– S11: 0,7; retest: 0,74; retest po 5 měsících: 0,8 (N = 82)
– S4: 0,74 (N = neznámé)
– S5: 0,73 (N = 96)
– S6: 0,83 (N = 107)

     
Zvláštní požadavky pro použití metody:

Pro používání metody je nutné vlastnit základní VTS software, do kterého se vkládá AMT jako modul. K funkčnímu provozu VTS je třeba vlastnit příslušný hardware (např. panel pro odpovídání), jehož parametry lze zjistit u lokálního distributora.


Zdroje:
  1. Seitl, M. (2016). Testové psychodiagnostické metody pro výběr zaměstnanců. Olomouc: Univerzita Palackého v Olomouci.
  2. SCHUHFRIED. (2020). Manual ADAPTIVE MATRICES TEST.
  3. SCHUHFRIED. (2020). Manual ADAPTIVE MATRICES TEST.
  4. Ťápal, A., & Gabrhel, V. (2018). Adaptivní maticový test – recenze metody. TESTFÓRUM, 6(11), 37–42. https://doi.org/10.5817/TF2018-11-199