Przenieś na górę strony

O projekcie

RehaBee to asystent rehabilitacji, oparty na sztucznej inteligencji i rzeczywistości rozszerzonej. Dzięki aplikacji mobilnej RehaBee pacjent może wykonywać ćwiczenia rehabilitacyjne w swoim własnym domu, a aplikacja weryfikuje i ocenia poprawność ćwiczeń bezpośrednio na obrazie z kamery urządzenia. Zestaw ćwiczeń przygotowywany jest indywidualnie dla każdego pacjenta przez fizjoterapeutę, za pomocą dedykowanej aplikacji internetowej.

Aplikacja asystenta rehabilitacji wykorzystuje uczenie maszynowe, metody analizy obrazu i ruchu oraz rozszerzoną rzeczywistość. W systemie zaimplementowana jest sieć neuronowa nauczona, by rozpoznawać ludzką sylwetkę na obrazie z kamery. Pacjent uruchamiając aplikację widzi zatem swoją własną sylwetkę na obrazie kamery swojego smartfona i bezpośrednio na ekranie otrzymuje wskazówki do ćwiczeń. Zbudowane przez nasz zespół algorytmy „tłumaczą” kolejne kroki ćwiczeń na reguły zrozumiałe dla systemu, dzięki czemu system prowadzi pacjenta przez ćwiczenia i pokazuje na ekranie bieżącą ocenę poprawności ćwiczeń. Aplikacja śledzi na bieżąco ruch pacjenta na ekranie, porównuje go z wzorcem w algorytmie i ocenia poprawność ćwiczeń. Na koniec sesji system podsumowuje wykonane ćwiczenia i wysyła raport poprawności do fizjoterapeuty.

Uzupełnieniem aplikacji dla pacjentów jest także aplikacja internetowa dla fizjoterapeutów. Dzięki temu terapeuci mogą prowadzić bazę swoich pacjentów i uzyskują dostęp do listy ćwiczeń, na podstawie których mogą układać indywidualne zestawy dla pacjentów, a później modyfikować je w zależności od wyników.

Przeczytaj o technologiach użytych w RehaBee:

Swift   |   PHP   |   React.js

Usługi

01

Projekt w liczbach

W ramach projektu wykonaliśmy badania naukowe oraz badania użytkowników, które pozwalały na iteracyjne testowanie różnych koncepcji. Zgodnie z procesem UCD (user centered design) prowadziliśmy dokładne obserwacje, aby zrozumieć problemy obu grup docelowych, do których kierowany jest produkt. Stworzone wtedy różne ścieżki użytkowników powstały dzięki współpracy ze środowiskiem fizjoterapeutów i obserwowaniu ich w codziennej pracy z pacjentami. Idee o największym potencjale były prototypowane i badane w naturalnym środowisku.

Jednocześnie intensywnie analizowaliśmy różnorodne technologie, które potencjalnie mogły wesprzeć klarującą się koncepcję systemu. Zbudowaliśmy nawet własne stanowisko laboratoryjne, które umożliwiło testowanie urządzeń i weryfikację pomysłów. Analiza techniczna uzupełniła wiedzę zdobytą podczas analizy biznesowej i systemowej oraz umożliwiła dobór docelowej technologii.

2 lata

prowadziliśmy prace badawczo-rozwojowe

200+ pacjentów

wzięło udział w naszych badaniach

14 specjalistów

z zakresu fizjoterapii opiniowało nasz projekt

36 koncepcji

testowaliśmy, aby wybrać tę najlepszą

02

Opis problemu

Początkową ideą, z jaką przystąpiliśmy do projektu, było uatrakcyjnienie ćwiczeń rehabilitacyjnych poprzez wirtualną rzeczywistość. Wiedzieliśmy, że przeciętny pacjent zazwyczaj niewiele ćwiczy w domu i chcieliśmy stworzyć narzędzie, które sprawi że ćwiczenia będą ciekawsze i bardziej zachęcające. Szybko jednak okazało się, że animacje i atrakcyjna oprawa graficzna to najmniej ważny aspekt do usprawnienia domowej rehabilitacji. Podczas badań odkryliśmy wiele pilniejszych problemów pacjentów.

Okazało się, że ok. 60-65% pacjentów nie ćwiczy w domu. Dzieje się tak, ponieważ ludzie zajęci swoimi codziennymi sprawami nie pamiętają listy ćwiczeń, nie wiedzą jak wykonać te ćwiczenia i bez pomocy fizjoterapeuty nie potrafią ocenić, czy ćwiczą poprawnie. Bardzo często pojawia się też ból, który uniemożliwia dalsze ćwiczenie. To wszystko powoduje porzucenie ćwiczeń. Niestety, jest to błędne koło, ponieważ brak regularnych ćwiczeń niweczy efekty wypracowane przez terapeutę w gabinecie. Jednocześnie wiedzieliśmy doskonale, że czas oczekiwania na zabiegi w ramach NFZ jest długi, a pacjentom brakuje możliwości szybkiej konsultacji i częstszego kontaktu z fizjoterapeutą.

Na listę zidentyfikowanych problemów wpisaliśmy zatem:

  • trudności w zapamiętywaniu ćwiczeń
  • niezrozumienie i niechętna akceptacja procesu rehabilitacji
  • strach i obawę przed samą terapią
  • długi czas oczekiwania na rehabilitację
  • brak dedykowanych zabiegów w ramach rehabilitacji NFZ
  • brak szybkich efektów rehabilitacji
03

Cele i wyzwania

Tak duża lista problemów powoduje, że proces rehabilitacji wydłuża się, staje się mniej efektywny, ciało nie wraca do pełnej sprawności, a ból pojawia się ponownie. Pacjent niezadowolony z efektów zaczyna odczuwać frustrację i jeszcze bardziej traci motywację do właściwego zakończenia terapii. Na tej podstawie sformułowaliśmy potrzeby, które należało spełnić za pomocą powstającego narzędzia:

  • szybki kontakt z fizjoterapeutą
  • zmniejszenie ilości wizyt w gabinecie
  • zestaw ćwiczeń wraz z instrukcją jak je wykonywać
  • system motywacji do ćwiczeń
  • weryfikacja poprawności wykonania ćwiczeń

Wiedzieliśmy więc, że musimy stworzyć narzędzie, które będzie nie tylko pomagać pacjentom w wykonaniu ćwiczeń, ale także uczyć ich prawidłowego sposobu ćwiczenia, weryfikować efekty i przede wszystkim motywować do kontynuowania fizjoterapii domowej. Wyzwaniem był dobór technologii, która odpowiednio wesprze założone cele, a przy tym zapewni możliwie niski koszt stanowiska rehabilitacji i jego łatwą dostępność. Oczywiste było, że jeżeli pacjent ma ćwiczyć w swoim domu, to nie można zmuszać go do instalacji specjalistycznego sprzętu i wydawania olbrzymich sum pieniedzy.

05

Rozwiązanie

Po wielu miesiącach testów i bardzo głębokiego researchu technologii opracowaliśmy wreszcie koncepcję opartą na sztucznej inteligencji i rzeczywistości rozszerzonej. Wiedząc, że w obecnych czasach każdy ma w kieszeni smartfona, zdecydowaliśmy się na technologie mobilne. Uprościło to także sposób wizualizacji ćwiczeń, ponieważ można było wykorzystać do tego celu wbudowaną w każde urządzenie kamerę.

Stworzyliśmy więc asystenta rehabilitacji w formie aplikacji mobilnej dla pacjentów, do której przesyłany jest plan rehabilitacji stworzony przez fizjoterapeutę. Już po pierwszej wizycie w gabinecie pacjent może otrzymać swój spersonalizowany zestaw ćwiczeń od specjalisty. Jak to działa?

  • Wykorzystujemy sieć neuronową nauczoną, by rozpoznawać ludzką sylwetkę na obrazie z kamery
  • Za pomocą kamery mapujemy sylwetkę pacjenta i wyświetlamy na ekranie jej model złożony z 16 newralgicznych punktów
  • Uruchamiamy kolejne ćwiczenia według listy stworzonej przez fizjoterapeutę
  • Wykorzystujemy autorskie algorytmy, które „tłumaczą” kolejne kroki ćwiczeń na reguły zrozumiałe dla systemu
  • Prowadzimy pacjenta przez ćwiczenia za pomocą interfejsu graficznego i wyświetlamy proste instrukcje bezpośrednio na sylwetce pacjenta
  • Analizujemy na bieżąco ruch pacjenta na ekranie, porównujemy go z wzorcem w algorytmie i oceniamy poprawność ćwiczeń
  • Podsumowujemy wykonane ćwiczenia i wysyłamy raport poprawności do fizjoterapeuty, nie nagrywając pacjenta

Tworzymy produkty cyfrowe na zamówienie.
Projektujemy, budujemy i skalujemy rozwiązania dla Ciebie.

Python

PHP

React.js

Swift

Java Script

Zobacz opisy technologii
06

Aplikacja

Aplikacja dla pacjentów w wersji alpha powstała z wykorzystaniem języka Swift i przeznaczona jest na urządzenia z systemem operacyjnym iOS. Dzięki temu, aplikacja może wykorzystywać moduł ARKit 2.0 firmy Apple, wbudowany w najnowsze systemy operacyjne spod znaku jabłka. Dla starszych urządzeń, niewyposażonych w ten moduł, przewidzieliśmy alternatywę w postaci biblioteki Fritz.ai, działającej niemal identycznie i mającej bardzo zbliżony zakres funkcjonalny. System RehaBee przy starcie rozpoznaje na jakim urządzeniu został uruchomiony i w zależności od wersji przełącza się na jedną z dwóch bibliotek: ARKit lub Fritz. Zadbaliśmy przy tym o właściwą użyteczność rozwiązania. Użytkownik nie zauważa żadnej zmiany, ponieważ cały proces odbywa się w tle, a system działa identycznie niezależnie od zastosowanej biblioteki.

Aplikacja mobilna RehaBee działa w taki sposób, aby umożliwić wykonanie ćwiczeń szybko i łatwo. Po zalogowaniu, bezpośrednio na ekranie startowym umieszczamy odpowiedni zestaw ćwiczeń, jaki użytkownik powinien wykonać danego dnia. Dodatkowo, pacjent może zapoznać się ze opisami ćwiczeń, filmami instruktażowymi oraz testowo wykonać zlecone mu ćwiczenia, aby sprawdzić jak sobie z nimi radzi. Po uruchomieniu zestawu ćwiczeń, aplikacja wyświetla na ekranie obraz z kamery, zarysowuje model sylwetki pacjenta i pokazuje wskazówki dla kolejnych ćwiczeń bezpośrednio na ekranie. Jednocześnie, zadbaliśmy również o odpowiednie przerwy między ćwiczeniami oraz możliwość pauzowania lub całkowitego zatrzymania ćwiczeń w przypadku problemów.

Po zakończeniu zestawu, fizjoterapeuta otrzymuje raport z ćwiczeń, dzięki czemu wie, które ćwiczenia pacjent wykonał poprawnie, a z którymi miał problemy. Co bardzo ważne, nie nagrywamy pacjentów, wiedząc że prywatność i bezpieczeństwo to kluczowy aspekt, zwłaszcza dla osób ze schorzeniami, ćwiczących we własnych domach. Istotne jest również to, że cały proces ćwiczeń odbywa się offline, co pozwala ćwiczyć niemal w każdych warunkach.

07

Podsumowanie

RehaBee to innowacyjna aplikacja do rehabilitacji, oparta na technologiach AI i rzeczywistości rozszerzonej. Umożliwia pacjentom wykonywanie ćwiczeń rehabilitacyjnych w domu, oceniając ich poprawność na podstawie obrazu z kamery urządzenia. Zestawy ćwiczeń są personalizowane przez fizjoterapeutę dla każdego pacjenta za pomocą dedykowanej aplikacji internetowej. Aplikacja korzysta z uczenia maszynowego, analizy obrazu i ruchu oraz rzeczywistości rozszerzonej.

System RehaBee wykorzystuje sieć neuronową do rozpoznawania ludzkiej sylwetki, a algorytmy stworzone przez zespół projektu tłumaczą instrukcje ćwiczeń na język zrozumiały dla systemu. Po zakończeniu sesji ćwiczeń, system podsumowuje wyniki i wysyła raport do fizjoterapeuty. Ponadto, terapeuci mają dostęp do specjalnej aplikacji webowej, która pozwala im zarządzać bazą pacjentów i dostosowywać zestawy ćwiczeń w zależności od postępów pacjentów.

Projekt RehaBee został opracowany w oparciu o dogłębne badania, które uwzględniały analizę potrzeb użytkowników, ocenę technologii i iteracyjne testowanie koncepcji. System ma na celu rozwiązanie wielu problemów związanych z domową rehabilitacją, takich jak trudności w zapamiętywaniu ćwiczeń, brak dostępu do szybkich konsultacji z terapeutami, czy brak motywacji do ćwiczeń.

Aplikacja mobilna RehaBee została stworzona w języku Swift dla urządzeń z systemem iOS. Wykorzystuje technologię ARKit 2.0 od Apple lub alternatywną bibliotekę Fritz.ai dla starszych urządzeń. Po zalogowaniu, pacjent ma na ekranie startowym zestaw ćwiczeń na dany dzień, instrukcje oraz filmy instruktażowe. Po zakończeniu zestawu ćwiczeń, aplikacja generuje raport, który jest przesyłany do fizjoterapeuty.

Poznaj nasze inne projekty

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Rutrum est dictum ullamcorper a ultrices commodo leo. Eget ultricies vitae congue lectus. Ultrices nec in commodo commodo sem nam sollicitudin volutpat. Dolor quis bibendum aliquam sit id feugiat non pellentesque in. At risus tellus aliquam magna et.

Milgeomed

Inteligentny, zintegrowany system do lokalizacji, wstępnej oceny i pomocy medycznej poszkodowanym na polu walki wykorzystujący geoinformacje i sensory biomedyczne.

Zobacz

ePortal

System elektronicznych usług medycznych dla pacjentów i personelu szpitalnego, wdrożony w różnych konfiguracjach w kilkunastu placówkach medycznych w Polsce.

Zobacz

Skontaktuj się z nami

Masz pomysł na projekt, ale chcesz o nim porozmawiać? A może potrzebujesz konsultacji z ekspertem, by zadać mu kluczowe pytania dotyczące realizacji Twoich planów biznesowych? Jesteśmy tu dla Ciebie! Umów się na bezpłatną rozmowę telefoniczną z członkiem naszego zespołu. Podczas godzinnej dyskusji poznasz nas lepiej, uzyskasz cenne porady, dzięki którym zostanie określony dalszy kierunek działań.

Umów rozmowę