Wyciąganie action items z raportów i spotkań za AI

Zespół Agnieszki otrzymał o godz. 21:00 raport polityczny na 41 stronach. Briefing z klientem miał być o ósmej rano następnego dnia. Gdzieś pośród tych stron były cztery decyzje, które trzeba było zrealizować przed poniedziałkiem. Wydawało się, że wyciąganie action items ze spotkania AI mogłoby całkowicie zautomatyzować ten proces. Szukanie ich ręcznie oznaczało długą noc z zakreślaczem. To dokładnie problem, który mają rozwiązać narzędzia AI do ekstrakcji action items. Szczera odpowiedź? Rozwiązują mniej więcej siedemdziesiąt procent problemu, a reszta wymaga ludzkiego przeglądu i weryfikacji.

Co to dokładnie action item?

Action item nie jest decyzją i nie jest tematem. To zadanie z przypisanym właścicielem i, najlepiej, terminem. "Dyskutowaliśmy budżet" to punkt podsumowania. "Marta sprawdza projekt budżetu Q3 do piątku" to action item. Rozróżnienie ma znaczenie, bo większość błędów ekstrakcji bierze się stąd, że AI traktuje pierwsze jako drugie.

Stawki rosną wraz z tym, dla czego dokument istnieje. Przeoczony action item w luźnym zespołowym callcie to wiadomość przypominająca. Przeoczony action item w raporcie politycznym dla klienta, albo w przywierzeniu dotacji, to termin, który nikt nie zobaczył. Im cięższe dokumenty, tym mniej miejsca na zgadywanie czy narzędzie dobrze zidentyfikowało zadanie.

Badacze pracujący nad streszczaniem długich nagrań z konferencji zmierzyli to. Ich pipeline rekurencyjnie streszcza sekcje, jednocześnie wyciągając action items, a potem łączy wyniki. Na standardowym benchmark AMI corpus uzyskał BERTScore 64.98, przybliżnie 5% skok powyżej poprzednio najlepszego wyniku z modelu fine-tuned BART (arXiv, 2312.17581). Ten wzrost pokazuje, jak wiele trudniej jest wyizolować rzeczywiste zobowiązanie z transkrypcji niż podsumować samą transkrypcję.

Gdzie AI rzeczywiście znajduje action items w dokumencie

Mechanika jest bardziej przyziemna niż sugeruje marketing. Nowoczesne ekstraktory skanują w poszukiwaniu języka modalnego, frazy takie jak "będę", "musimy", "możesz wysłać", a następnie łączą ten język z pobliskimi jednostkami: imionami, datami, odniesieniami do projektów. Diaryzacja prelegentów (w transkrypcjach) lub bliskość sekcji (w dokumentach) przypisuje właścicielstwo.

To cały trik. Żadne narzędzie nie "rozumie", że zadanie istnieje. Pattern-matchuje język zobowiązania wobec kontekstu i mam nadzieję, że kontekst jest wystarczająco bliski. Kiedy zobowiązanie jest niejawne, pogrzebane trzy zdania po osobie, która go posiadała, wzór się łamie i ekstrator przechodzi dalej.

Dwie rodziny modeli radzą sobie z tym inaczej. Podejścia ekstraktywne wyciągają oryginalne zdanie dosłownie i tagują je jako action item, co zachowuje sformułowanie, ale utrzymuje każdą wieloznaczność, która tam już była. Podejścia abstrakcyjne przepisują zdanie w czystszą instrukcję zadania, co czyta się lepiej, ale ryzykuje parafrazowanie szczegółu, który oryginalny autor miał na myśli. Żaden z nich nie jest ściśle lepszy. Summarizer wrażliwy na cytaty zwykle domyślnie wybiera ekstraktywny, bo przepisywanie pasażu źródłowego to dokładnie ten rodzaj zmęczenia, który zagraża zaufaniu do podsumowania.

Nie tylko spotkania warte są przeanalizowania

Większość narzędzi w tej przestrzeni sprzedaje się jako asystenci konferencji, a większość demo pokazuje transkrypcję rozmowy. Ale ta sama logika ekstrakcji dotyczy szarą literaturę: raporty konsultacyjne, briefingi polityczne, wewnętrzne notatki, nawet długie wątki e-maili. Raport z 40 stronami ma action items rozrzucone po sekcji rekomendacji w ten sam sposób, w jaki rozmowa ma je rozrzucone po drugiej połowie.

Raport polityczny z otwierającej sceny to przypadek w punkcie. Raz skondensowany, jego 41 stron zawierało 6 formalnych rekomendacji i, pogrzebane wewnątrz sekcji dyskusji, kolejne 11 dalszych niejawnych działań, które nikt nie etykietował jako takie. Ekstrator w stylu spotkania dostrojony do krótkich mówionych zobowiązań złapał 6. Zajęła manualną przejście, porównując dyskusję z rekomendacjami, by wyświetlić pozostałe 11.

Różnica jest strukturalna, nie koncepcyjna. Transkrypcje spotkań są rozmowne i bałaganiarskie, ale chronologiczne. Raporty są gęste, ale zorganizowane, często z rekomendacjami już zgrupowanymi blisko końca. Narzędzie dostrojone do jednego nie automatycznie transferuje się na drugie. Jeśli wyciągasz action items z raportu badawczego, summarizer zbudowany do ekstrakcji zachowującej cytaty będzie działać lepiej niż bot spotkań przeznaczony do pracy z transkrypcjami.

Sposoby zawodności, które nikt nie wspomina w demo

Producenci pokazują czysty przypadek: jasny mówca, bezpośrednie żądanie, nazwany właściciel. Rzeczywiste dokumenty i rzeczywiste rozmowy są bałaganiarskie. Cztery wzory powodują większość przeoczonych lub źle przypisanych pozycji.

• Podzielona uwaga podczas nagrywania. Słuchanie i notatki jednocześnie wymiernie zmniejszają recall, co to dokładnie dlatego, dlaczego ludzie zaczęli nagrywać spotkania. AI nie ma tego problemu, ale dziedziczy wszystkie luki, które istnieją w audio.

• Niejawne zobowiązania. "Ktoś powinien chyba przejrzeć umowę dostawcy przed odnawieniem" czyta się jako action item dla człowieka. Większość ekstraktorów to pomija. Brak czasownika modalnego, brak nazwanego właściciela, nic do schwytania.

• Błędne przypisanie podobnych ról. Dwie osoby o podobnych tytułach na tym samym spotkaniu się zamieniają. Zadanie ląduje na złym biurku, i nikt nie zauważa aż do upłynięcia terminu.

• Hałas audio i formatowania. Nakładający się mówcy, nieformalny skrót lub zeskanowany PDF ze złym OCR, wszystko degeneruje jakość ekstrakcji zanim model w ogóle się zaczyna.

Nic z tego nie oznacza, że narzędzia są zawodne. To oznacza, że wyjście potrzebuje pięciominutowego ludzkiego przejścia zanim gdziekolwiek zbliży się do trackera zadań. Pomiń to przejście i dziedziczysz ślepe plamy narzędzia jako swoje własne.

Czy zaoszczędzony czas tego wart?

Tak, z zastrzeżeniem. Ręczne przeszukiwanie raportu z 40 stronami w poszukiwaniu action items zajmuje wytrenowanemu czytelnikowi mniej więcej 45 do 60 minut: czyta, zakreśla, porównuje, kompiluje. Przepuszczenie tego samego dokumentu przez narzędzie ekstrakcji i przegląd wyniku zajmuje około 15 minut, pięć z czego to obowiązkowe przejście ludzkiego opisane powyżej. To rzeczywisty zysk, nie marginalny.

Zastrzeżenie to to, że zysk dotyczy tylko jeśli przegląd krok faktycznie się zdarzył. Pomiń go, by zaoszczędzić ostatnie pięć minut, a zaoszczędzony czas na ekstrakcji dostaje wydany później, zwykle na spotkaniu gdzie ktoś pyta, dlaczego zobowiązanie sprzed trzech tygodni nigdy nie było kontynuowane. Narzędzie nie zawodzi bezgłośnie. Zawodzi w sposób, który pojawia się w najgorszym możliwym momencie.

Pracujący sposób: od zakreślenia do przypisanego zadania

Oto sekwencja, którą Agnieszka ustalała przez trzy lata prowadzenia briefingów klientów na mieszance raportów i rozmów. To nie jest eleganckie, ale się trzyma pod presją deadlinów.

Po pierwsze, przepuszczaj surowe źródło przez narzędzie ekstrakcji i traktuj wyjście jako roboczą wersję, nie jako dostarczane. Po drugie, sprawdzaj każdą pozycję na trzy rzeczy: konkretne zadanie, nazwany właściciel, prawdopodobny termin. Cokolwiek brakuje jednemu z trzech dostaje flagę, nie usunięcie. Po trzecie, manualnie porównaj niejawne zobowiązania. To jest krok, który każde narzędzie pomija, i to tam zwykle czai się najwyższe-stawkowe pozycje.

Po czwarte, kieruj potwierdzoną listę do jakiegokolwiek systemu, który zespół już używa. Kierowanie ważyć się więcej niż dokładność ekstrakcji, szczerze. Doskonale wyekstrahowany action item siedzący w eksporcie czatu, który nikt nie czyta ponownie, nic nie osiąga ani nie wpłynie na wyniki.

Piąty krok, łatwy do pominięcia pod presją terminu: zanotuj które pozycje pochodziły z niejawnego zobowiązania zamiast z jawnego. Sześć miesięcy później, kiedy ktoś sporządza, czy rzeczywiście zgodzili się na zadanie, to rozróżnienie to różnica między szybkim wyjaśnieniem a dłuższym sporem o to, co zostało powiedziane.

Które narzędzie do jakiej pracy?

Narzędzia zorientowane na spotkania i zorientowane na dokumenty rozwiązują nakładające się ale odrębne problemy, a wybranie złego dla materiału źródłowego to najczęstszy błąd w praktyce.

Dla rozmów na żywo, dedykowane rejestratury spotkań, które generują pliki strukturyzowane zamiast ściany tekstu, mają tendencję do lepszego zachowywania właścicielstwa i terminów niż ogólny summarizer zaszpuntowany na aplikacji kalendarza. Techniki ekstrakcji opisane przez jedno takie narzędzie: klasyfikacja intencji, rozpoznawanie nazwanych jednostek, diaryzacja prelegentów, to rozsądna podstawa dla tego, czego oczekiwać od tej kategorii (Granola, meeting action item extraction). To samo źródło raportuje 70% tygodniowego zatrzymania wśród zajętych specjalistów używających podejścia, co sugeruje wyjście jest wystarczająco zaufane do działania, nie tylko zerknąwszy raz.

Dla dokumentów, summarizer zbudowany do zachowania cytacji i pasażów źródłowych ważyć się więcej niż jeden zoptymalizowany dla wzorów mowy rozmownej. Sam raport staje się zakotwiczeniem: każda wyekstrahowana pozycja powinna sięgać wstecz do konkretnego paragrafu, nie parafrazy jednego. To jest gdzie dokument-pierwszy narzędzie i narzędzie spotkań-pierwszy naprawdę się rozbiegają: jedno jest oceniane na jak dobrze śledzi kto coś powiedział, drugie na jak dobrze śledzi kto coś napisał i gdzie.

Obszar pracy notatek zbudowany wokół strukturyzowanych stron zamiast jednego biegającego dokumentu pomaga też na etapie potwierdzenia. Action items wyciągnięte z trzech oddzielnych źródeł, raportu, rozmowy i śledzącego e-maila, potrzebują jedno miejsce do siedzenia zanim gdziekolwiek się kierują, lub zespół kończy się krzyżowo-sprawdzając trzy narzędzia, by odpowiedzieć na jedno proste pytanie: co faktycznie ma być gotowe tego tygodnia?

Gdy pozycje są potwierdzone, lekkie zadaniowe biuro, które przyjmuje zbiorcze importy bije ręczne przepisywanie każdej linii do oddzielnej aplikacji. To jest krok kierowania z metody powyżej, i to gdzie większość przepływów ekstrakcji cicho umiera przed ukończeniem.

Żaden z tych czterech narzędzi nie rozwiązuje całego łańcucha koniec na koniec, i to warte jest powiedzenia jasno zamiast udawania że jeden produkt robi wszystko idealnie. Wybierz kawałek, który pasuje do materiału źródłowego, nie kawałek z najbłyszczącą demo.

Czy zautomatyzować cały pipeline?

Pomiń całą automatyzację, jeśli materiał źródłowy dotyczy klientów, narażenia prawnego, albo czegoś gdzie przeoczony termin ma rzeczywisty koszt biznesowy. Pięciominutowe przejście ludzkiego nie jest opcjonalne w tych przypadkach, bez względu na to jak dobrze bazowy model testuje się na benchmark.

Automatyzuj swobodnie dla wewnętrznych synków, powtarzających się wezwań statusu i niskoprawnikowych plotek projektowych, gdzie przeoczony lub źle przypisany element kosztuje Slack wiadomość, nie relacji klienta. Narzędzia osiągnęły tę poziom zaufania. Nie osiągnęły drugiego, i sposoby zawodności powyżej są powodem dlaczego.

Action items były zawsze tam, osadzone w raporcie czy rozmowie. Co się zmieniło to jak dużo z ich znalezienia możemy zlecić automatycznie, i ile jeszcze potrzebuje osoby, która wie co brzmi jak niejawne zobowiązanie i zna kontekst pracy.