Meta представляет DINOv3: усовершенствованную модель самоконтроля зрения для масштабируемого высокоточного визуального анализа

Исследовательское подразделение технологической компании Meta, разрабатывающей технологии искусственного интеллекта и дополненной реальности, Мета ИИ представила DINOv3 — современную универсальную модель компьютерного зрения, обученную с помощью самообучения (SSL) для генерации высококачественных визуальных признаков. Впервые единая модель машинного зрения превосходит специализированные модели по нескольким известным задачам прогнозирования с высокой плотностью данных, включая обнаружение объектов и семантическую сегментацию.

DINOv3 достигает такой производительности благодаря передовым методам SSL, которые устраняют необходимость в размеченных данных, сокращая время обучения и требования к ресурсам, позволяя при этом масштабировать модель до 1.7 млрд изображений и 7 млрд параметров. Такой подход без разметки делает модель подходящей для приложений, где аннотации ограничены, дороги или недоступны. Например, предобученные на спутниковых снимках модели DINOv3 продемонстрировали высокие результаты в таких задачах, как оценка высоты полога леса.

Ожидается, что модель улучшит существующие приложения и позволит использовать новые в таких секторах, как здравоохранение, мониторинг окружающей среды, автономные транспортные средства, розничная торговля и производство, обеспечивая повышенную точность и эффективность широкомасштабного визуального понимания.

DINOv3 выпускается с полным набором открытых базовых модулей по коммерческой лицензии, включая спутниковый модуль, обученный на снимках MAXAR. Также предоставляется подмножество оценочных модулей для последующих этапов, чтобы позволить исследователям воспроизводить и расширять полученные результаты. Для того чтобы помочь сообществу немедленно начать работу с DINOv3, предоставляются примеры блокнотов и подробная документация.

DINOv3: создание высокоэффективных приложений посредством самостоятельного обучения

Согласно Мета ИИ DINOv3 представляет собой значительный шаг вперёд в области самообучения с самоконтролем (SSL), впервые продемонстрировав, что модели SSL могут превосходить по производительности модели со слабым контролем в широком спектре задач. В то время как предыдущие версии DINO демонстрировали высокие результаты в задачах с высокой плотностью прогнозирования, таких как сегментация и монокулярная оценка глубины, DINOv3 развивает эту основу и достигает ещё более высоких уровней производительности.

DINOv3 совершенствует исходный алгоритм DINO, устраняя необходимость ввода метаданных и используя меньше вычислений для обучения, чем предыдущие подходы, при этом сохраняя высокую производительность базовых моделей машинного зрения. Усовершенствования DINOv3 позволяют получать передовые результаты в задачах последующего уровня, таких как обнаружение объектов, даже когда веса модели остаются фиксированными, устраняя необходимость в тонкой настройке для конкретной задачи и обеспечивая более универсальное и эффективное применение.

Поскольку методология DINO не привязана к какому-либо конкретному типу изображений, её можно применять в самых разных областях, где маркировка данных была дорогостоящей или нецелесообразной. Более ранние версии, такие как DINOv2, использовали большие объёмы немаркированных данных для медицинских приложений, включая гистологию, эндоскопию и визуализацию. Для спутниковых и аэрофотоснимков, где объём и сложность данных делают ручную маркировку невозможной, DINOv3 позволяет обучить единую базовую модель, применимую к нескольким спутниковым источникам, что обеспечивает более широкий спектр применения в таких областях, как мониторинг окружающей среды, городское планирование и реагирование на стихийные бедствия.

DINOv3 уже демонстрирует практический эффект. Институт мировых ресурсов (WRI) использует эту модель для мониторинга обезлесения и руководства восстановительными работами, позволяя местным сообществам эффективнее защищать экосистемы. Анализируя спутниковые снимки для выявления потери деревьев и изменений в землепользовании, DINOv3 повышает точность проверки климатического финансирования, снижая транзакционные издержки и ускоряя финансирование небольших местных проектов. В одном случае использование DINOv3, обученного на спутниковых и аэрофотоснимках, позволило снизить среднюю погрешность измерения высоты древесного полога в регионе Кении с 4.1 метра до 1.2 метра, что позволило WRI более эффективно масштабировать поддержку тысяч фермеров и природоохранных инициатив.