Понять, что нужно сделать.
До следующего запроса.
Работа не начинается с сообщения ассистенту и не заканчивается закрытием диалога. Она продолжается между приложениями, документами, браузером и терминалом. Мы прерываем задачи, возвращаемся к ним спустя дни, переключаемся между проектами и редко объясняем компьютеру, зачем совершаем каждое действие.
Традиционный AI-ассистент видит запрос. MOSS пытается понять работу, которая ему предшествовала.
MOSS — проактивный AI-ассистент для macOS, построенный вокруг непрерывного анализа пользовательской активности. Вместо того чтобы ждать очередного сообщения, система связывает события в задачи, отслеживает их состояние и определяет, когда помощь может оказаться полезной.
В основе MOSS лежит механизм сегментации деятельности. Система анализирует разрешённые события операционной системы, контекст приложений и визуальную информацию, формируя последовательность наблюдений. Специализированная модель устанавливает, какие из них относятся к одной задаче, даже если пользователь переключается между совершенно разными приложениями.
Эти связи образуют TaskThread — сохраняемый контекст отдельной задачи. Он не привязан к одному окну, приложению или непрерывному отрезку времени. Задача может быть прервана, продолжена через несколько часов или возобновлена спустя месяц. MOSS связывает новую активность с существующим TaskThread либо обнаруживает появление нового.
Модель сегментации не обязана знать, как называется задача. Её основная функция — устанавливать принадлежность наблюдений. Семантическую интерпретацию, описание целей и работу с содержанием выполняет языковая модель, получая уже структурированный контекст.
Следующий уровень — проактивность. MOSS оценивает не только возможность помочь, но и уместность вмешательства. Система может подготовить информацию, предложить следующий шаг, обратить внимание на изменение обстоятельств или ничего не делать. Отсутствие действия здесь такое же допустимое решение, как инициатива.
Наблюдение за работой не означает права ею управлять. MOSS разделяет обнаруженные факты, предположения, рекомендации и разрешённые действия. Пользователь контролирует источники контекста и границы самостоятельности ассистента.
MOSS / macOS / BETA
Технический разбор
Нативный интерфейс
Клиент MOSS разработан для macOS с использованием SwiftUI. Интерфейс отображает текущие TaskThread, их историю, состояние и действия ассистента.
Взаимодействие не ограничивается чатом. Пользователь может вернуться к сохранённой задаче, просмотреть связанный контекст, принять или отклонить предложение, уточнить намерение и изменить разрешения. Чат остаётся одним из способов управления системой, но не её единственной точкой входа.
Сбор и представление активности
MOSS формирует поток наблюдений из разрешённых источников macOS: событий приложений, состояния окон, доступного текстового контекста и визуальной информации.
Вместо передачи всей истории пользовательской активности непосредственно в LLM система предварительно обрабатывает наблюдения и формирует компактные представления происходящего.
Обработка учитывает временные зависимости и изменения состояния. Отдельные клики, переключения окон и фрагменты содержимого становятся входными данными для распознавания более продолжительных процессов.
Сегментация задач и TaskThread
Центральный компонент MOSS — модель сопоставления пользовательской активности с динамическим множеством задач.
В отличие от классического классификатора с фиксированными категориями, система работает с TaskThread, которые появляются в процессе использования. Каждая задача содержит собственную историю наблюдений и представлений активности.
Новые сегменты сопоставляются с существующими TaskThread. Модель определяет, относится ли активность к известной задаче, указывает на появление новой или пока не позволяет сделать уверенный вывод.
Такой подход позволяет связывать действия из разных приложений, обнаруживать прерывания и восстанавливать принадлежность активности к задаче после длительного перерыва.
Сегментация не требует предварительного текстового описания задачи. Название и семантический контекст формируются отдельно.
Контекстная память
TaskThread служит единицей долговременной памяти MOSS.
Система сохраняет связи между наблюдениями, используемыми ресурсами, подтверждёнными решениями и текущим состоянием работы. Память разделяет фактические события, модельные предположения и информацию, явно предоставленную пользователем.
При возвращении к задаче MOSS восстанавливает релевантный контекст, а не начинает интерпретацию всей истории заново.
Языковая модель получает отобранную информацию о задаче и связанных событиях. Это сокращает необходимость повторно передавать ей необработанную историю взаимодействия с компьютером.
Проактивное принятие решений
Проактивность реализована как отдельная задача принятия решений поверх контекстной памяти.
Система оценивает текущее состояние задачи, изменения контекста, потенциальную полезность помощи и стоимость прерывания пользователя.
Доступные решения включают подготовку информации, предложение действия, уведомление и отсутствие вмешательства.
LLM используется для интерпретации контекста, формирования предложений и планирования дальнейших шагов. Решение о необходимости инициативы не сводится к генерации очередного сообщения языковой моделью.
Обратная связь пользователя учитывается при последующих решениях, позволяя адаптировать поведение ассистента.
Границы самостоятельности
MOSS разделяет четыре уровня взаимодействия: наблюдение, интерпретацию, предложение и выполнение.
Распознанное намерение не считается подтверждённым поручением. Доступ к файлу не означает разрешения изменять его. Высокая уверенность модели не заменяет согласие пользователя.
Система сохраняет неопределённость выводов, предоставляет возможность исправлять ошибочные связи между задачами и учитывает установленные пользователем разрешения.