Oya Aran, Prof. Lale Akarun ve ben 2006 yazında Dubrovnik, Hırvatistan’da düzenlenen “eNTERFACE’06 Summer Workshop on Multimodal User Interfaces” “iş dükkanı”na katılmıştık. Projemiz İşaret Dili Eğitmeni Aracı idi. Özetle:

Bu projenin amacı; iyi tanımlanmış (el ve kafa hareketleri ve yüz ifadeleri içeren) sınırlı sayıdaki jestleri tanıyan gerçek zamanlı bir işaret dili eğitmeni aracı geliştirmektir. Böylelikle bu üç bilgi kaynağının birleştirilmesiyle oluşacak bir sistem gösterilecektir.

Bugün (yaklaşık 2 yıllık aradan sonra!) tanıtım videosunu yolluyorum. Araç üç kısımdan oluşuyor: videoda görüldüğü üzere, sağ üst panel, öğretmenin (öğretmen de bana amma çok benziyor) videolarını içerir. Kullanıcı önce bu 19 adet videodan işaretleri izler, hangisini denemek isterse o seçiliyken, dene tuşuna basar. Program kullanıcının videosunu alır, elleri ve yüzü bölütler, sonuç olarak da işaretin doğru yapılıp yapılmadığına karar verir. Ayrıca ellerde mi yoksa yüzde/kafa hareketinde mi hata olduğunu bildirebilir. Kullanıcı kaydedilen ve bölütlenen videoları sol alttaki panelde görebilir. Ve son olarak sağ altta, elleri ve kafayı sentezleyerek bir avatar oluşturup izleyebilir.

Bu projedeki kullanıcı arayüzü ve bazı algoritmalar MATLAB ile yazıldı. Kalan kısımlar ise (çoğunluğu bilgisayarla görme olmak üzere) OpenCV kullanılarak C ile yazıldı. Avatarın yüzü için Koray Balcı‘nın yazmış olduğu Xface kullanıldı. Tüm kaynak koda organizasyonun sitesinden ulaşılabilir. Projenin anlatıldığı rapora da aynı sayfadan ulaşılabilir.

 
icon for podpress  İşaret Dili Eğitmeni Aracı Tanıtımı: Play Now