Przez dziesięciolecia robot przemysłowy był przeciwieństwem elastycznego pracownika. Potrafił wykonywać tę samą czynność niezwykle szybko i precyzyjnie, ale zmiana produktu, stanowiska czy kolejności operacji często oznaczała ponowne programowanie, przygotowanie nowych danych i długą walidację procesu. Skild AI chce zmienić ten model. Firma opracowała S1 - model bazowy dla robotów, któremu można pokazać pojedynczy film przedstawiający wykonanie nowego zadania, a następnie pozwolić mu spróbować odtworzyć cel demonstracji na prawdziwym robocie. Nie chodzi przy tym o dokładne kopiowanie ruchów człowieka klatka po klatce. System ma rozpoznać przedmioty, kolejność działań i zamierzony rezultat, a następnie przełożyć je na możliwości konkretnej maszyny. Skild nazywa ten mechanizm uczeniem w kontekście, podobnym do sposobu, w jaki współczesne modele językowe potrafią wykonać nowe zadanie na podstawie przykładu umieszczonego w poleceniu. Jeśli technologia okaże się wystarczająco niezawodna, może znacznie skrócić czas potrzebny do przestawiania robotów na nowe produkty i operacje w fabrykach.
Jak robot Skild S1 może nauczyć się nowego zadania po obejrzeniu jednego filmu?
Schemat zaproponowany przez Skild AI jest zaskakująco prosty z punktu widzenia operatora. Człowiek wykonuje zadanie i rejestruje je na filmie, a nagranie trafia do modelu jako część kontekstu. S1 analizuje demonstrację, rozpoznaje jej cel, przedmioty i kolejność operacji, po czym na tej podstawie generuje działania dla robota znajdującego się przed nim. Najważniejsze jest to, czego nie trzeba robić pomiędzy tymi etapami. Wagi modelu nie są ponownie trenowane, nie jest tworzony osobny model przeznaczony wyłącznie dla konkretnej operacji i nie jest potrzebny klasyczny etap wielogodzinnego zbierania nowych demonstracji za pomocą teleoperacji. Według Skild jedna wersja S1 wykonała wszystkie prezentowane zadania bez osobnego dostrajania do każdego z nich.
Technologia została pokazana między innymi przy sadzeniu rośliny do doniczki, przygotowywaniu kawy metodą pour-over, smażeniu i obracaniu naleśnika oraz składaniu zestawu przedmiotów. Niektóre demonstracje obejmowały dziesiątki kolejnych manipulacji i trwały nawet około dziesięciu minut. Szczególnie ciekawy był test z przesadzaniem rośliny. Demonstrację nagrano o 21:22, a pięć minut później S1 rozpoczął autonomiczne wykonanie zadania na sprzęcie. Od nagrania filmu do startu robota minęło więc około 11 minut, licząc również przygotowanie stanowiska. Pokazuje to potencjalną różnicę względem tradycyjnego wdrożenia, które przy bardziej skomplikowanej czynności może wymagać przygotowania danych, programowania, konfiguracji i testów prowadzonych przez specjalistów.
Czym uczenie w kontekście różni się od tradycyjnego programowania robotów przemysłowych?
Klasyczna automatyzacja przemysłowa działa najlepiej wtedy, gdy środowisko jest przewidywalne. Robot otrzymuje dokładnie zdefiniowaną sekwencję ruchów, współrzędne, prędkości, reguły bezpieczeństwa i warunki uruchomienia kolejnych etapów. Rozwiązanie może być niezwykle szybkie oraz niezawodne, dopóki produkt, narzędzia i stanowisko pozostają takie same. Problem zaczyna się wtedy, gdy zakład zmienia wariant produktu, element pojawia się w innym miejscu albo proces wymaga reagowania na nieprzewidziane sytuacje. W takich przypadkach inżynier musi często zmodyfikować program, ponownie skalibrować system i zweryfikować cały proces. Przy produkcji dużych serii identycznego produktu jest to akceptowalne. Przy częstych zmianach asortymentu koszt elastyczności szybko rośnie.
S1 próbuje zastąpić część tego procesu czymś przypominającym pokazanie zadania nowemu pracownikowi. Model został wcześniej nauczony bardzo szerokiego zestawu zachowań, dzięki czemu demonstracja ma określić przede wszystkim, co należy zrobić, a nie od podstaw nauczyć go wszystkich możliwych ruchów. Skild porównuje tę zmianę do przejścia, jakie nastąpiło w modelach językowych: zamiast trenować osobny model do każdego zadania, użytkownik opisuje lub pokazuje nowe zadanie w kontekście. W robotyce jest to trudniejsze, ponieważ model musi nie tylko zrozumieć polecenie, lecz także kontrolować fizyczną maszynę, uwzględniać pozycję obiektów, kontakt, siłę oraz ograniczenia własnego mechanizmu. Właśnie dlatego możliwość przechodzenia od pojedynczej demonstracji do działania robota jest tak interesująca dla przemysłu.
Czy jedna demonstracja naprawdę może zastąpić dziesiątki godzin trenowania robota?
Skild próbował oszacować, jak wartościowa jest pojedyncza demonstracja wykorzystywana przez S1. W wewnętrznych testach firma porównała model korzystający z uczenia w kontekście z bardziej tradycyjną polityką VLA dostrajaną do nowego zadania na kolejnych przykładach wykonanych za pomocą teleoperacji. S1 otrzymujący jeden przykład osiągnął około 66% skuteczności na poszczególnych krokach nieznanych wcześniej zadań. Aby tradycyjnie dostrajany model osiągnął podobny wynik, potrzebował według interpolacji około 380 demonstracji. W przypadku zadań trwających od czterech do dziesięciu minut zebranie takiej liczby przykładów wymagało około 50-100 godzin teleoperacji.
Nie oznacza to jednak, że pojedynczy film zawsze jest lepszy od dużego zbioru danych. Gdy model tradycyjny otrzymał aż 2000 przykładów dostrajających, jego skuteczność wzrosła do około 86%, czyli przekroczyła wynik S1 korzystającego z jednej demonstracji. Największą przewagą uczenia kontekstowego jest więc obecnie nie maksymalna niezawodność, lecz szybkość rozpoczęcia pracy nad nowym zadaniem. Fabryka może potencjalnie pokazać robotowi nową operację i szybko ocenić, czy system sobie z nią radzi, zamiast najpierw inwestować dziesiątki godzin w zbieranie danych. Dopiero jeżeli proces wymaga bardzo wysokiej powtarzalności, można przeprowadzić dalsze dostrajanie lub zastosować bardziej klasyczne metody automatyzacji. To ważne rozróżnienie między szybką adaptacją a pełną gotowością produkcyjną.
Czy robot uczy się ruchów człowieka czy rozumie cel pokazanego zadania?
Jednym z najciekawszych elementów S1 jest to, że robot nie powinien kopiować dokładnej trajektorii ludzkich dłoni. Człowiek i robot mogą mieć przecież zupełnie inne kończyny, zasięg, chwytaki oraz liczbę stopni swobody. Model musi dlatego wywnioskować z filmu, co demonstrator próbuje osiągnąć, i znaleźć własny sposób realizacji tego celu. Skild pokazywał między innymi przykład podlewania rośliny. Gdy w demonstracji wykorzystywano konewkę, ale podczas wykonania robot miał dostęp jedynie do kubka z wodą, system potrafił użyć dostępnego naczynia. W innym przypadku miał nalać napój do szklanki, która była już prawie pełna, więc ograniczył dolewaną ilość zamiast mechanicznie kopiować demonstrację.
Jeszcze ciekawsze były sytuacje, w których sama demonstracja zawierała niedoskonałość. W jednym z przykładów człowiek podczas wykonywania zadania z jajkiem wykonał ruch powodujący bałagan, podczas gdy S1 zrealizował odpowiedni etap bardziej kontrolowanie. Według twórców sugeruje to, że model interpretuje nagranie raczej jako opis intencji niż sztywny zapis trajektorii. Taka właściwość byłaby niezwykle ważna w fabrykach, ponieważ operator nie musiałby wykonywać demonstracji z dokładnością robota przemysłowego. Wystarczyłoby pokazać właściwą kolejność działań i rezultat. Nadal jest to jednak wniosek z demonstracji i testów Skild AI, dlatego potrzebne są niezależne badania pokazujące, jak dobrze mechanizm radzi sobie z większą różnorodnością stanowisk, przedmiotów i błędów człowieka.
Czy Skild S1 jest już wykorzystywany do prawdziwej pracy w fabrykach?
Technologia nie pozostaje wyłącznie eksperymentem laboratoryjnym. Skild AI współpracuje z Nvidią i Foxconnem przy wykorzystaniu swojej platformy na dwuramiennych robotach przeznaczonych do precyzyjnego montażu systemów Nvidia Blackwell. Pokazany proces obejmuje umieszczenie szyny busbar, instalację elementu ograniczającego, przykręcenie kolejno 16 śrub i późniejsze usunięcie elementu pomocniczego. To zadanie wykonywane obecnie przez ludzi na linii Foxconna i wymagające precyzji, śledzenia wielu kolejnych kroków oraz reagowania wtedy, gdy pozycja elementów nie jest idealnie zgodna z oczekiwaniami. Skild argumentuje, że klasyczna automatyzacja takiego procesu wymagałaby dużej ilości ręcznej pracy inżynieryjnej.
Trzeba jednak oddzielić dwa fakty. S1 został pokazany jako model potrafiący uczyć się nowych zadań z pojedynczego filmu, natomiast przemysłowe wdrożenie przy montażu Blackwell jest częścią szerszej platformy Skild Brain i nie należy automatycznie zakładać, że każda operacja na produkcyjnej linii Foxconna została wdrożona wyłącznie przez pokazanie jednego filmu. Sam Skild wcześniej informował przy tym zadaniu również o niewielkiej ilości dodatkowych danych wykorzystywanych do dostrojenia rozwiązania. Najważniejszy kierunek pozostaje jednak jasny: firma chce, aby coraz większa część zmiany procesu mogła odbywać się przez demonstrację, zamiast ręcznego programowania kolejnych ruchów robota. Skild informuje też o ponad 60 płacących klientach obejmujących produkcję, logistykę, inspekcję, ochronę i przygotowywanie żywności.
Czy fabryki rzeczywiście będą mogły przestać programować każdy ruch robota od początku?
W wielu zakładach najbardziej kosztownym elementem robotyzacji nie jest zakup samego ramienia, lecz integracja. Trzeba przygotować chwytaki, czujniki, program PLC, ścieżki ruchu, systemy wizyjne, zabezpieczenia i procedury reagowania na błędy. Jeżeli produkowany element zmienia się raz na kilka lat, taka inwestycja może łatwo się zwrócić. Problemem są fabryki produkujące krótkie serie, wiele wariantów albo urządzenia regularnie zmieniane wraz z kolejną generacją produktu. Każda zmiana może wymagać pracy programistów i integratorów. Model potrafiący uczyć się zadania poprzez pokaz może znacząco zmniejszyć koszt przezbrajania takich stanowisk, ponieważ człowiek przekazywałby robotowi intencję i kolejność operacji w znacznie bardziej naturalny sposób.
Nie oznacza to jednak końca programowania przemysłowego. Nadal trzeba zdefiniować strefy bezpieczeństwa, ograniczenia siły i prędkości, komunikację z innymi maszynami oraz warunki zatrzymania procesu. W produkcji nie wystarczy, że robot „zazwyczaj” wykona zadanie. System musi być przewidywalny przez tysiące lub miliony cykli, a jego zachowanie w sytuacji awaryjnej powinno być dokładnie określone. S1 może więc przede wszystkim zmienić warstwę programowania zachowania robota. Zamiast ręcznego zapisywania każdego ruchu inżynier może coraz częściej określać zadanie przez demonstrację, a następnie skupiać się na walidacji i ograniczeniach bezpieczeństwa. To bardziej realistyczna wizja niż całkowite zniknięcie inżynierów automatyki.
Dlaczego 66 procent skuteczności nie wystarcza jeszcze do autonomicznej pracy na każdej linii produkcyjnej?
Wynik S1 trzeba interpretować ostrożnie. Skild podaje około 66% skuteczności na poziomie pojedynczych kroków dla nowych wieloetapowych zadań w swoich wewnętrznych testach. Przy czynności składającej się z kilkunastu lub kilkudziesięciu etapów nawet niewielkie prawdopodobieństwo błędu na każdym z nich może znacząco obniżyć szansę bezbłędnego wykonania całej sekwencji. W laboratorium robot może ponowić próbę albo skorzystać z pomocy operatora. W produkcji zatrzymanie linii, uszkodzenie kosztownego komponentu lub niewłaściwe dokręcenie elementu może generować realne straty. Dlatego imponująca demonstracja pojedynczego zadania nie jest jeszcze równoznaczna z niezawodnością wymaganą przez całodobową fabrykę.
Co ciekawe, samo Skild AI otwarcie zwraca uwagę na ten problem. Założyciele firmy piszą, że można wybrać udaną demonstrację robota osiągającego 50% skuteczności i stworzyć efektowny film, ale prawdziwe wdrożenie wymaga rozwiązania problemu pozostałych 50% przypadków. To właśnie niezawodność, reagowanie na błędy, zmienne oświetlenie, różnice pomiędzy partiami komponentów, zużycie narzędzi czy nieprzewidziane przesunięcia przedmiotów stanowią trudniejszą część robotyki niż pojedyncza demonstracja. Najważniejszą miarą sukcesu S1 będzie więc nie liczba efektownych zadań pokazanych na filmach, ale to, jak często system będzie potrafił wykonywać je przez całą zmianę produkcyjną bez pomocy człowieka.
Dlaczego uczenie robotów z filmów może być przełomem większym niż sam model S1?
Największym problemem modeli robotycznych jest dostęp do danych. Modele językowe można trenować na ogromnych zbiorach tekstu, a systemy obrazowe na miliardach fotografii dostępnych w internecie. Dane potrzebne robotowi tradycyjnie trzeba natomiast zdobywać poprzez działanie fizycznej maszyny albo teleoperację. Jest to drogie i powolne, ponieważ godzina pracy operatora daje mniej więcej godzinę demonstracji. Internet zawiera jednak miliony filmów pokazujących ludzi gotujących, montujących urządzenia, używających narzędzi, pakujących produkty i wykonujących różnego rodzaju prace manualne. Jeśli modele robotyczne nauczą się skutecznie wykorzystywać takie nagrania, uzyskają dostęp do źródła danych o skali wcześniej nieosiągalnej dla robotyki.
Problem polega na tym, że film nie zawiera wszystkich informacji potrzebnych robotowi. Nie pokazuje dokładnej siły chwytu, momentów obrotowych, nacisku czy informacji z czujników dotykowych. Do tego ludzkie dłonie i robotyczne chwytaki poruszają się zupełnie inaczej. Skild określa ten problem mianem „embodiment gap” - luki pomiędzy ciałem demonstratora a maszyną wykonującą zadanie. S1 ma uczyć się mapowania obserwowanego celu na możliwości konkretnego robota, zamiast kopiować ludzkie ruchy. Jeżeli takie podejście będzie skalować się równie dobrze jak uczenie modeli językowych z tekstu, przyszły robot przemysłowy może przyjeżdżać do fabryki z ogromnym zestawem wcześniej poznanych umiejętności, a nowego stanowiska uczyć się już na miejscu poprzez kilka prostych demonstracji.
Czy roboty uczące się przez obserwację zmienią rolę pracowników i inżynierów w fabrykach?
Najbardziej prawdopodobnym skutkiem nie jest fabryka całkowicie pozbawiona ludzi, ale zmiana sposobu przekazywania wiedzy maszynom. Dzisiaj doświadczony operator może doskonale wiedzieć, jak prawidłowo umieścić element, dopasować część czy spakować produkt, ale przeniesienie tej wiedzy do robota wymaga pośrednictwa programisty. W modelu opartym na demonstracji operator sam może pokazać maszynie zadanie. Inżynier automatyki nadal odpowiadałby za integrację i bezpieczeństwo, lecz mniej czasu poświęcałby na ręczne kodowanie każdej trajektorii. Zmniejszyłaby się tym samym bariera wdrażania robotów w zakładach, których procesy zmieniają się zbyt często, aby klasyczna automatyzacja była opłacalna.
Największą zmianę mogą odczuć zakłady zajmujące się montażem wielu wariantów produktu, pakowaniem, logistyką czy krótkoseryjną produkcją. Robot, którego można przeuczyć w kilkanaście minut zamiast kilku dni, może ekonomicznie uzasadnić automatyzację czynności wcześniej pozostawianych człowiekowi właśnie z powodu ich zmienności. Jednocześnie wraz ze wzrostem elastyczności robota wzrośnie znaczenie nadzoru, kontroli jakości i umiejętności rozpoznawania sytuacji, w których system nie powinien działać samodzielnie. S1 nie oznacza więc jeszcze końca programowania fabryk. Pokazuje jednak kierunek, w którym instrukcja dla robota może coraz mniej przypominać kod komputerowy, a coraz bardziej zwyczajne zdanie: „popatrz, pokażę ci, jak to robimy”.
