Ist ChatGPT zuverlässig für Krebsinformationen?

Zusammenfassung: Wenn es darum geht, die Fragen der Menschen zu Krebs zu beantworten, insbesondere in Bezug auf Mythen und Missverständnisse, liefert ChatGPT zu 97 % korrekte Informationen. Die KI ist so genau, dass die Testpersonen nicht wussten, ob die Antworten von ChatGPT oder dem National Cancer Institute stammten.

Quelle: Huntsman Cancer Institute

Studieren in Zeitschrift des National Cancer Institute Krebsspektrum Ich habe mir Chatbots und künstliche Intelligenz (KI) angesehen, da sie zu beliebten Quellen für Krebsinformationen werden. Sie stellten fest, dass diese Ressourcen genaue Informationen lieferten, wenn sie nach verbreiteten Mythen und Missverständnissen über Krebs gefragt wurden.

In der ersten Studie dieser Art bewertete Skylar Johnson, MD, Arzt und Wissenschaftler am Huntsman Cancer Institute und Assistenzprofessor in der Abteilung für Radioonkologie an der Universität von Utah (U), die Zuverlässigkeit und Genauigkeit der Krebsinformationen von ChatGPT.

Unter Verwendung verbreiteter Mythen und Missverständnisse des National Cancer Institute (NCI) über Krebs fanden Johnson und sein Team heraus, dass 97 % der Antworten richtig waren. Dieses Ergebnis ist jedoch mit einigen wichtigen Vorbehalten verbunden, darunter Bedenken des Teams, dass einige ChatGPT-Antworten falsch interpretiert werden könnten.

Dies kann zu einigen schlechten Entscheidungen von Krebspatienten führen. Das Team riet zur Vorsicht bei der Beratung von Patienten darüber, ob sie Chatbots verwenden sollten, um Informationen über Krebs zu erhalten.

Die Studie ergab, dass die Rezensenten blind waren, was bedeutet, dass sie nicht wussten, ob die Antworten vom Chatbot oder vom NCI kamen. Obwohl die Antworten korrekt waren, fanden die Rezensenten die Sprache von ChatGPT indirekt, mehrdeutig und in einigen Fällen unklar.

„Ich weiß und verstehe, wie schwierig es für Krebspatienten und Pflegekräfte ist, auf genaue Informationen zuzugreifen“, sagt Johnson.

„Diese Quellen müssen untersucht werden, damit wir Krebspatienten dabei helfen können, sich in den dunklen Gewässern der Online-Informationsumgebung zurechtzufinden, wenn sie versuchen, Antworten auf ihre Diagnosen zu finden.“

Falsche Informationen können Krebspatienten schaden. In einer früheren Studie, die von Johnson und seinem Team durchgeführt wurde und in veröffentlicht wurde Zeitschrift des National Cancer InstituteSie fanden heraus, dass Fehlinformationen in den sozialen Medien weit verbreitet waren und das Potenzial hatten, Krebspatienten zu schaden.

In den nächsten Schritten soll bewertet werden, wie oft Patienten Chatbots verwenden, um nach Informationen über Krebs zu suchen, welche Fragen sie stellen und ob der KI-Chatbot genaue Antworten auf ungewöhnliche oder ungewöhnliche Fragen zu Krebs liefert.

Finanzierung: Die Studie wurde von den National Institutes of Health/National Cancer Institute einschließlich P30 CA042014 und der Huntsman Cancer Foundation unterstützt.

Über diesen ChatGPT AI und Krebsforschungsnachrichten

Autor: Avery Schrader
Quelle: Huntsman Cancer Institute
Kommunikation: Avery Schrader – Huntsman Cancer Institute
Bild: Das Bild ist gemeinfrei

Ursprüngliche Suche: offener Zugang.
„Verwendung von ChatGPT zur Bewertung von Mythen und Missverständnissen über Krebs: künstliche Intelligenz und KrebsinformationenGeschrieben von Skylar B. Johnson et al. Krebsspektrum

eine Zusammenfassung

Verwendung von ChatGPT zur Bewertung von Mythen und Missverständnissen über Krebs: künstliche Intelligenz und Krebsinformationen

Daten zur Qualität von Krebsinformationen, die von Chatbots und anderen KI-Systemen bereitgestellt werden, sind begrenzt.

Hier bewerten wir die Genauigkeit krebsspezifischer Informationen auf ChatGPT im Vergleich zu den Antworten des National Cancer Institute (NCI), indem wir Fragen auf der Webseite Cancer Commons and Misconceptions verwenden.

NCI-Antworten und ChatGPT-Antworten wurden für jede Frage verblindet und dann auf Genauigkeit bewertet (genau: ja vs. nein). Die Bewertungen wurden für jede Frage unabhängig bewertet und dann zwischen verblindeten NCI-Antworten und ChatGPT-Antworten verglichen.

Zusätzlich wurden für jede einzelne Antwort die Wortzahl und der Flesch-Kincaid-Lesewert bewertet. Nach der Überprüfung durch Experten betrug die prozentuale Gesamtübereinstimmung für die Genauigkeit 100 % für die NCI-Antworten und 96,9 % für die ChatGPT-Ausgaben für die Fragen 1 bis 13 (ĸ = -0,03, Standardfehler = 0,08).

Es gab nur wenige bemerkenswerte Unterschiede in der Wortzahl oder Lesbarkeit der Antworten von NCI oder ChatGPT. Insgesamt zeigen die Ergebnisse, dass ChatGPT genaue Informationen zu verbreiteten Mythen und Missverständnissen über Krebs liefert.