Wstęp:
Celem badania była ocena trzech chatbotów – OpenAI ChatGPT, Microsoft Bing Chat (obecnie Copilot) i Google Bard (obecnie Gemini) – pod kątem ich odpowiedzi na zdefiniowany zestaw pytań audiologicznych.

Materiał i metody:
Każdemu chatbotowi przedstawiono tę samą listę 10 pytań z zakresu audiologii. Dwóch ekspertów oceniało ogólną poprawność odpowiedzi w skali Likerta od 1 do 5. Zbadano również dodatkowe cechy, takie jak liczba nieścisłości lub błędów oraz podanie źródeł informacji.

Wyniki:
Większość odpowiedzi udzielonych przez wszystkie trzy chatboty została oceniona jako zadowalająca lub lepsza. Jednak wszystkie chatboty wygenerowały co najmniej kilka błędów lub nieścisłości. ChatGPT i Bing Chat osiągnęły najwyższy ogólny wynik, podczas gdy wyniki Barda były najgorsze. Bard był również jedynym chatbotem, który nie był w stanie udzielić odpowiedzi na jedno z pytań. ChatGPT i Bard nie podały źródeł informacji.

Wnioski:
Obecnie dostępne chatboty są narzędziami, z których należy korzystać z dużą ostrożnością, jeśli chcemy ich użyć do uzyskania informacji w specjalistycznym obszarze, takim jak audiologia. Prawidłowe informacje nierzadko mieszają się z błędami, które są trudne do wychwycenia, chyba że użytkownik jest dobrze zorientowany w danej dziedzinie.