Зачем перемещать нейросети в материальный мир?

Повысить качество нейросетей. Современные языковые модели ограничены представлением мира через язык, у них нет эмпирических знаний о нём. Роботы помогут моделям получить собственный опыт существования в материальном мире, что ощутимо поднимет их качество.

Мы будем пытаться сделать так, чтобы робот на своём опыте запомнил, что кофеварки бывают разные и управление у них разное. Увидев новую, он поймёт, как ею пользоваться. Это позволяет в итоге сделать интересную вещь: добавить в модели здравый смысл и представления об окружающем мире, которые никакими языковыми средствами заложить в принципе нельзя. Научить ИИ с помощью набивания не виртуальных, а вполне реальных физических шишек.

Андрей Себрант, директор по стратегическому маркетингу в Яндексе

Расширить применение ИИ. Воплощение ИИ в роботах и различных материальных устройствах открывает новые возможности для людей: упрощение и безопасность труда на производствах, делегирование рутинных задач в быту. Например, у пожилых людей или людей с особенностями здоровья могут появиться роботы-компаньоны, которые будут напоминать о приёме лекарств, помогать с выполнением повседневных дел, поддерживать разговор, позитивно влияя на эмоциональное состояние.

Мы живём в материальном мире, и удержать генеративные модели только на цифровой стороне мира, где они совсем не взаимодействуют с материальными объектами, не получится.

Андрей Себрант, директор по стратегическому маркетингу в Яндексе

Куда уже сейчас интегрирован искусственный интеллект?

Роботы и роботизированные помощники. Одним из основных способов материализации ИИ стали роботы. На производстве они могут выполнять сложные и опасные задачи с высокой точностью, заменяя или дополняя ручной труд, а в быту — обучаться повседневным действиям людей, подстраивая свою работу под их привычки и предпочтения.

Например, робот компании Figure AI может перемещать грузы до 20 кг, управлять заводским оборудованием, сортировать и складировать детали. Зрение робота обеспечивают шесть камер, которые располагаются на голове и торсе, а коммуникацию с ним — speech-to-speech-интерфейс: бортовые микрофоны и динамики, подключённые к языковой модели. В опубликованном Figure видео на YouTube можно посмотреть, как робот справляется с задачами на производстве.

Роботов-гуманоидов производят и другие компании. Например, робот Atlas от Boston Dynamics может выполнять сложные движения: бегать, прыгать, делать перевороты при переноске грузов. А робот Digit от Agility Robotics обладает гибкостью и балансом, которые позволяют ему подниматься по лестницам, перемещаться по неровным поверхностям и поднимать предметы весом до 18 кг.

Для решения повседневных задач компании создают не только человекоподобных роботов, но и роботизированных помощников с ИИ. Например, робот-доставщик от Яндекса уже работает в некоторых районах Москвы и Санкт-Петербурга, доставляя посылки и заказы из кафе и магазинов. Робот использует ИИ и компьютерное зрение для ориентации на улицах города, избегает препятствий и сам строит оптимальные маршруты.

Умные устройства и интернет вещей (IoT). Интеграция ИИ в умные устройства позволяет адаптировать их под потребности людей и экономить энергию. В доме умные системы могут снижать или повышать яркость освещения в зависимости от времени суток и присутствия людей в помещении, а в промышленности — удалённо управлять оборудованием и предотвращать аварии.

Например, умные холодильники Samsung Family Hub и LG InstaView оснащены ИИ, который следит за запасами продуктов, отслеживает срок их годности и предлагает рецепты из того, что прямо сейчас лежит на полках. А умные колонки, такие как Яндекс Станция или Google Nest, выполняют голосовые команды, отвечают на вопросы и могут управлять другими IoT-устройствами в доме: включать и выключать свет и бытовые приборы.

Автономные транспортные средства. ИИ помогает автомобилям с системой автопилота «видеть» окружающий мир, анализировать дорожную обстановку и принимать решения в режиме реального времени. Это повышает безопасность и снижает вероятность человеческих ошибок на дорогах. Такие автомобили со встроенным ИИ разрабатывают компании по всему миру.

Например, компания Tesla разработала систему Full Self-Driving. Автопилот управляет машиной, ориентируясь на знаки, сигналы светофора, разметку, соблюдая правила парковки и перестроения. Система использует камеры, радары и искусственный интеллект для анализа окружающей среды и адаптируется к миллионам сценариев вождения, собирая данные со всех автомобилей Tesla.

У Яндекса тоже есть своя система беспилотного вождения. Автономные автомобили также используют камеры, лидары и радары в сочетании с нейросетями для анализа дорожной обстановки и управления.

Беспилотные технологии создают и для общественного транспорта. Например, китайская компания Baidu разработала систему автономного вождения под брендом Apollo не только для легковых автомобилей, но и для автобусов. Производство беспилотных автобусов Apolong компания начала ещё в 2018 году — и в 2024 они продолжают ездить по дорогам Китая в рамках пилотных программ и туристических маршрутов.

Медицинские устройства. В медицине ИИ находит применение в различных роботизированных устройствах — от диагностических инструментов до ассистентов в операционных залах.

Например, один из самых известных роботизированных хирургов по всему миру — система Da Vinci. Она оснащена ИИ и позволяет врачам выполнять сложные операции с микроскопической точностью, минимизируя кровопотерю и травмы окружающих тканей. Врач-хирург управляет системой при помощи специальной консоли, оборудованной двумя джойстиками и ножными педалями.

Устройства с ИИ в медицине также активно применяют для диагностики заболеваний и анализа медицинских изображений. Например, китайская компания Mindray разрабатывает диагностические системы с поддержкой ИИ, включая ультразвуковое и рентгеновское оборудование. А российская система Botkin.AI с высокой точностью анализирует результаты КТ, МРТ и рентгеновские снимки для обнаружения онкологических заболеваний на ранних стадиях.

Коптеры и беспилотные системы. Уже не первый год коптеры используют для мониторинга и контроля в сельском хозяйстве, строительстве, спасательных операциях и логистике. С помощью компьютерного зрения и анализа данных они могут оценивать состояние посевов, доставлять товары и участвовать в поисково-спасательных операциях.

Например, китайская компания DJI — лидер в производстве коптеров для профессионального и личного использования. Их устройства серии Phantom и Matrice оснащены функциями компьютерного зрения и ИИ, которые позволяют избегать препятствий и распознавать объекты. В России «умные» коптеры производит компания «Геоскан». Их используют для создания высокоточных карт, мониторинга состояния посевов, инвентаризации полигонов, поиска объектов, доставки грузов и множества других задач.

Как дальше будет развиваться ИИ в физическом и виртуальном мирах?

Искусственный интеллект продолжит интегрироваться в материальный мир, а модели будут совершенствоваться. Они станут мультимодальными — будут работать не только с текстом, но и с другими каналами восприятия.

При таком уровне сжатия информации, который даёт наш язык, мы теряем огромное количество сведений о нашем мире. Мы будем так или иначе уходить в другие модальности: чувства физического мира, изображения, видео, звуки. Это неизбежный путь развития моделей, которые всё больше перестают быть языковыми.

Андрей Себрант, директор по стратегическому маркетингу в Яндексе

Развитие взаимодействия ИИ с физическими объектами через сенсоры ускорит появление роботов, которые смогут адаптироваться к любой среде и действовать более самостоятельно. Это расширит сферу их применения и взаимодействия с людьми.

Глава Microsoft Сатья Наделла когда-то сказал: «Как паровой двигатель совершил революцию в транспорте и промышленности во времена промышленной революции, так генеративный ИИ обладает способностью совершить революцию в том, как мы работаем, общаемся и живём в цифровую эпоху». Эта метафора с паровым двигателем имеет очень большой смысл.

Андрей Себрант, директор по стратегическому маркетингу в Яндексе