Рубрики
О журнале
Редакция
editorial@incrussia.ruРеклама
adv@incrussia.ru
ИИ показал лучшие результаты на платформе iOS, а не Android
Новое исследование показало, что искусственный интеллект лучше работает с приложениями на iOS, чем на Android. Даже модель Gemini, разработанная Google, работала хуже на Android. Эта экосистема слишком фрагментирована, а присущее ей разнообразие языков влияет на производительность ИИ.
Компания Instabug создала инструмент под названием SmartResolve, который помогает автоматически находить сбои в приложениях и предлагать исправления кода.
В разработке инструмента использовались современные модели искусственного интеллекта от компаний OpenAI, Anthropic, Google и Meta (запрещена на территории РФ). Каждое исправление оценивалось по тому, насколько оно корректно, похоже ли на то, что сделал бы человек, и насколько глубоко проанализированы причины сбоя.
Стоит отметить, что модели искусственного интеллекта показали более стабильные результаты на платформе iOS по сравнению с Android. Компания Instabug выявила, что на устройствах Apple исправления ошибок были более точными, последовательными и структурированными почти для каждой протестированной модели.
Например, ИИ от OpenAI продемонстрировали значительно более высокие результаты на iOS. GPT-4o достиг 60% на iOS, в то время как на Android его показатель составил всего 49%.
Разница с моделью OpenAI o1 была еще более заметной. Она показала результат в 62% на iOS, но лишь 26% на Android, часто не выдавая ответов на вопросы в тестах на Android.
Другие устройства также продемонстрировали схожие результаты. К примеру, модель Claude Sonnet 3.5 V1 от компании Anthropic продемонстрировала 58% на iOS и 56% на Android.
Даже продукт Google, Gemini 1.5 Pro, показал менее удачные результаты на Android (51%), в то время как на iOS он достиг 59%. Кроме того, Instabug обратила внимание на то, что при использовании большего контекстного окна количество ошибок увеличивалось.
Разница в работе Android и iOS может происходить из-за структуры их экосистем, отмечают эксперты. iOS предлагает более однородную и стабильную среду, тогда как Android поддерживает множество разных устройств и типов ошибок, что затрудняет работу с ними.
Кенни Джонстон из Instabug объяснил, что языки программирования, используемые в iOS, такие как Swift и Objective-C, более четкие и понятные. Это позволяет легче находить и исправлять ошибки с помощью искусственного интеллекта.
В то же время языки, используемые на Android, такие как Java и Kotlin, и разнообразие форматов ошибок усложняют процесс исправления, делая его более запутанным.
