Otizmli çocukların duygu ve stresini tespit eden robot geliştirildi

İTÜ Bilgisayar ve Bilişim Fakültesi Yapay Zeka ve Veri Mühendisliği Bölümü Öğretim Üyesi Prof. Dr. Hatice Köse tarafından otizmli çocukların duygu ve streslerini algılamak için çalışma başlatıldı.

Prof. Dr. Köse ve proje ekibi, bu kapsamda sensör ve yapay zeka çözümlerini kullanarak otizmli çocukların duygu ve streslerini oyun yoluyla belirleyen robotik sistem geliştirdi.

Projede “Kaspar” isimli çocuk benzeri bir robotla otizmli çocuklarla terapi oyunları düzenlenip, bu oyunlar sırasında çocukların duygu ile stresleri belirlendi.

AA muhabirine açıklamada bulunan Prof. Dr. Köse, EMBOA Erasmus+ projesi kapsamında otizmli çocukların duygu ile streslerini tespit etmek için çalışma başlattıklarını söyledi.

Otizmli çocukların duygularını çok iyi ifade edemediğini belirten Köse, “Özellikle strese girdiklerinde tedaviye, terapiye cevap vermiyorlar. Duygularını ve streslerini anlamak kolay olmuyor, yetişkinlerden çok daha farklı yansıtabiliyorlar. Bu alanda geliştirilen çalışmalar ve veri setleri hep yetişkinlerin stres ve duygularını tespit etmeyi amaçlıyor. Bu sistemler çocuklar için verimli kullanılamıyor. Biz de bu çalışmayla terapi seansında robotla etkileşimleri sırasında duygularını, farklı sensörlerden gelen verileri yapay zeka destekli olarak işleyerek anlamayı amaçladık.” diye konuştu.

Prof. Dr. Köse, bu kapsamda Kaspar robotunu kullanarak robotik sistem ve yapay zeka destekli duygu tanıma modülü geliştirdiklerini anlatarak, şöyle devam etti:

“Kaspar insansı robotu ve yazılımını İngiltere’de otizmli çocukların terapi süreçleri için geliştirdik. Şu anda pek çok ülkede otizm terapisinde kullanılıyor. Projemiz kapsamında ülkemizde de kullandık. Projemiz dahilinde ‘Kaspar’ robot ile otizmli çocuklar terapi oyunları oynarken çeşitli akıllı sensörler aracılığıyla göz takibi, yüz ifadesi, ses ve postür takibi yapıyoruz. Aynı zamanda bir akıllı bileklik takarak fizyolojik verilerini de takip ediyoruz. Bu akıllı sensörlerden gelen verileri uzman psikologlar analiz ediyor, ardından biz yapay zeka modelleri geliştirerek çocukların stres, duygu ve dikkatlerini anlıyoruz.”

“Türkiye’de yaklaşık 25 çocukla bu çalışmayı gerçekleştirdik”

Proje kapsamında Türkiye, Polonya, İngiltere ve Makedonya’da farklı çocuk gruplarıyla çalıştıklarını ve karşılaştırma yaptıklarını vurgulayan Köse, proje grubunda farklı ülkelerden terapist, doktor ve mühendislerle çalıştıklarını ifade etti.

Prof. Dr. Köse, “Türkiye’de işbirliği yaptığımız kreşlere Kaspar robotumuzu götürüp bu çalışmaları yaptık. Türkiye’de yaklaşık 25 çocukla bu çalışmayı gerçekleştirdik.” dedi.

Projeyi uyguladıkları çocukların çoğunun okul öncesi çağda olduğunu aktaran Köse, sözlerini şöyle sürdürdü:

“Çocuklar robota çok olumlu yaklaştılar. Önce biraz çekindiler. Çünkü ilk defa robot görüyorlar. Ama sonrasında hem çocuklardan hem de ailelerden çok olumlu geri bildirimler aldık. Çocuklar özellikle robotla şarkı söylemeyi ve robotla oynamayı çok sevdiler. Normal otizm terapi süreçlerinde oynanan oyunlara benzer taklit oyunlarını robot için de geliştirdik. Terapistlerin robotu seanslarda kullanabilmesi için bir arayüz mevcut, çocukların ilgisini çekecek pekiştireçler olarak sözlü motivasyon cümleleri ve şarkılar da ekledik. Robot şarkı söylerken dans da ederek çocukların ilgisini çekiyor. Terapi oyunları sırasında robotun sorduğu çeşitli sorulara çocuklar cevap verdi. Bu süreçte çocukların robota verdikleri cevapları ve robota olan ilgi ve davranışlarını analiz ettik. Aynı zamanda çocukların stres ve duygularını anlamaya dair derin öğrenme tabanlı algoritmalar geliştirdik ve bu alanda gelecek projelere de katkı sağlayabilecek değerli bilgiler topladık. Bu projede amaç sadece bu sistemi geliştirmek değil, çocukların hangi tür duyguları nasıl yansıttığını da otomatik tespit edebilecek ve terapistlerle ailelere destek verebilecek sistemlerin özelliklerini de ortaya çıkarmaktı.”

“Çocuklar oynarken robotla daha çok iletişim kurdular”

Çalışma sonucunda birçok veri elde ettiklerinin altını çizen Köse, şunları kaydetti:

“Çocuklar normalde insanların yüzüne çok bakmıyor ancak robotun yüzüne daha çok baktılar. Özellikle robotla şarkı söylediklerinde daha çok baktıklarını ve ilgilendiklerini gözlemledik. Çocuklar oynarken robotla daha çok iletişim kurdular. Bu durumu hem uzmanların gözlem ve analizleri ile hem de sensör verilerinden eğittiğimiz yapay zeka modelleri aracılığıyla tespit ettik.”

Çocukların ilk kez gördükleri bir ortamda ilk kez gördükleri bir robotla çalıştığını dile getiren Köse, sözlerini şöyle tamamladı:

“Robotla çalışma çocukları çok heyecanlandırdı. Robot olmasa çocuklar bu kadar heyecanlı ve motive bir şekilde oyuna girmeyebilirdi. Bu çalışmalarda amaç çocukların robotla otizm terapisinde kullanılan birtakım oyunları oynamasını sağlamaktı. Bu oyunlar sırasında da çocukların çeşitli akıllı sensörlerle verilerini almak ve bunları kullanarak derin öğrenme modelleri geliştirip çocukların duygu durumunu ve stresini algılamaktı, bunda da başarılı olduk. Bu çocukların duygu, stres ve ilgilerini belirlemek çok önemli.

Çünkü bunu belirlediğiniz zaman pek çok farklı çalışmada, sağlık ya da eğitim alanında, çocukların durumuna adapte olan yardımcı sistemler de üretebilirsiniz. Mesela çocuğun duygu durumu negatife ya da strese gittiğinde bunu algılayıp sistemin geri bildirimlerini ona göre değiştirebilirsiniz. Orada çocuğu rahatlatacak bir oyun oynatabilir ya da şarkı söyleyebilirsiniz. O yüzden çocuk kapanmadan, negatife düşmeden bunu algılamak ya da çocuğun ne zaman negatif, ne zaman pozitif duygu durumunda olduğunu anlayabilmek, terapist ve aile için de çok olumlu bir destek olacaktır.”