VScan

Это мой небольшой проект, цель которого — исследовать, как языковые модели с поддержкой зрения могут помочь незрячим людям в путешествиях и повседневной жизни, заменяя зрение при выполнении различных визуальных задач. VScan превращает камеру вашего смартфона в устройство для визуального восприятия. Вы можете определять различные оптические когнитивные функции, такие как поиск объектов, знаков, оценка сцены или просто передача визуальных впечатлений. Затем вы можете использовать эти функции в режиме камеры, так же, как зрячий человек использует свои глаза для достижения конкретной цели в реальном мире. Каждый когнитивный инструмент состоит из двух основных частей: • Используемая камера — передняя/задняя, а также параметры камеры — разрешение, вспышка и т. д. • Подсказки, используемые для обработки LLM. LLM — это мост между необработанными данными пикселей и вашей их интерпретацией, и в подсказке пользователя/системы вы можете указать, что именно вас интересует для конкретной функции и как это должно быть передано, а также модель LLM, которая должна использоваться. Ввод с камеры в сочетании с подсказкой обработки LLM формирует когнитивную функцию, которая может использоваться для решения различных визуальных задач. VScan — это программное обеспечение с открытым исходным кодом. Посетите официальный репозиторий проекта, чтобы узнать больше о его истории, мотивации, конкретных примерах использования и инструкциях по настройке.