ProctorEdu: как бороться со списыванием на экзаменах и помогать корпорациям достигать бизнес-результатов
Ирина Харсеева
автор Inc.
Адени Адебайо и Артём Козин, основатели ProctorEdu, познакомились в 2013 году во Франции на встрече молодежной организации — и подружились. В 2016 году Козин начал работать в НИУ ВШЭ, где сопровождал проект “Открытое образование”. Проекту требовалась программное обеспечение для контроля и проведения онлайн тестов. На тот момент на российском рынке была одна компания, которая предлагала систему прокторинга, но её решение было в зачаточном состоянии. Артем вызвался разработать собственное решение и позвал в проект Адени, который на тот момент переехал в Москву и поступил в Сколтех, и специалиста по видеопотоку Антона Скшидлевского из Санкт-Петербурга. Но в последний момент с заказчиком не сложилось. Предприниматели стали думать, что делать с технологией, и подали заявки в 3 акселератора: французский Numa, индийский EDUGUILD и российский ФРИИ. Прошли во все три, но в итоге подписали контракт с последним. За 3 года работы предприниматели добились больших результатов: доработали технологию, полностью отстроившись от своих конкурентов, нашли надежных партнеров за рубежом и начали продавать свое решение. ProctorEdu выявляет подмену личности во время теста, предотвращает списывание и борется с копированием материалов. При этом легко интегрируется, работает в фоновом режиме без дополнительного скачивания и выдерживает большую нагрузку — в 3 тыс. одновременных сеансов. В 2017 году выручка составила 2,6 млн руб., а в 2018 году стала в 3 раза больше, 7,6 млн рублей. В планах доработать мобильную версию и открыть офис в США. Адени Адебайо и Артём Козин рассказали Inc., как выйти на зарубежные рынки с минимальными затратами, как контролировать директоров от списывания и как отношение к списыванию в той или иной стране сказывается на продажах.
Inc. × Сколтех
Свёл случай
Адени Адебайо приехал в Казань по стипендиальной студенческой программе Россотрудничества из Нигерии в 2008 году и поступил в Казанский национальный исследовательский технологический университет на химический факультет. Во время учёбы в университете он возглавил городскую Ассоциацию иностранных студентов и аспирантов Казани, которой 3 года руководил, занимался общественной работой и развивал свой проект по наставничеству для студентов и детей.
Артём Козин закончил МАДИ, а затем поступил в магистратуру НИУ ВШЭ сначала по психологии, а потом по менеджменту. Во время учебы в университете он участвовал в создании проекта “Скиллопедия”, а в магистратуре вместе с сокурсниками создал сервис для психологической консультации студентов PushPullMe.
В 2013 года Артём и Адени одновременно начали участвовать в мероприятиях молодёжной организации Youth Time. На одном из таких мероприятий во Франции ребята и познакомились. Спустя год встретились снова, но уже в Москве. Адени поступил в Сколковский институт науки и технологий (Сколтех), а Артём стал работать в НИУ ВШЭ, где сопровождал проект “Открытое образование”.
У проекта была потребность контролировать дистанционные экзамены. На тот момент существовала только одна компания из Екатеринбурга. Так как у Артёма уже был опыт предпринимательства, он решил, что сможет предложить решение получше, и позвал в проект Адени. Стали искать команду разработчиков, которые смогли бы реализовать эту задачу в сжатые сроки.
— Мы искали ребят в Сколтехе, МГУ, МФТИ и других технических ВУЗах, но никто не соглашался, — вспоминает Артем. — Откликнулся только один человек — Антон Скшидлевский из Санкт-Петербурга, который стал нашим третьим партнёром.
Разработку начали в феврале 2016 года, и уже в мае была готова первая версия ProctorEdu.
— Но с заказчиком не сложилось — то ли они пошли к конкурентам, то ли решили делать самостоятельно, — рассказывает Артем. — В итоге мы остались с продуктом, который был заточен под конкретный ВУЗ, и технологией, которую непонятно где можно использовать, — рынка не было. Мы начали думать, что делать дальше, как найти клиентов и доработать бизнес-модель.
ProctorEdu в цифрах:
Источник: данные компании
20
клиентов у компании на данный момент.
99
рублей стоит 1 час прокторинга для 1 теста (для российского рынка).
$5
стоит 1 час прокторинга для 1 теста (для рынка США).
3
тыс. человек могут одновременно сдавать экзамен в системе.
>3
млн тестов провели за всё время проекта (не учитывая тесты, которые проводят компании-партнёры самостоятельно).
9
человек в команде.
Французы, индусы и русские
Первым делом предприниматели подали заявки в несколько акселераторов: представительство французской компании Numa, EDUGUILD в Индии и ФРИИ в России, — и во все прошли. Пришлось выбирать. Во французском акселераторе была возможность поработать месяца два и принять окончательное решение.
— У каждого акселератора свои плюсы и минусы, — вспоминает Адени. — В Numa царила дружеская, семейная атмосфера, что сильно контрастировало с ФРИИ, — там трекеры, да и сам подход был жёстче. Но мы поняли, что именно такой подход поможет сформировать дисциплину в команде и двигаться быстрее. К тому же финансовые условия в последнем оказались привлекательнее: 2,1 млн руб. инвестиций за долю в компании 7% во ФРИИ и 1,2 млн рублей за долю в компании 10% в Numa.
От индийского акселератора EDUGUILD у предпринимателей остались противоречивые впечатления. Сначала инвесторы обещали $20 тыс., но в ходе поездки выяснилось, что инвестиции предстоит привлекать самостоятельно.
— В итоге, когда я приехал в город Пуну, я понял, что денег вообще не будет. Да и с сайта эта информация пропала. Нам предложили поработать с их экспертами 3 месяца и параллельно самим искать инвестиции и клиентов. Ребята, конечно, хорошие, дружные, но что-то не сложилось и изначальные договоренности изменились. Но за это время я получил колоссальный опыт и знания, как устроен индийский рынок и как работать с индусами, — рассказывает Артем.
В 2019 году предприниматели также прошли отбор в акселератор от Сбербанка и 500 Startups.
Антон Скшидлевский
технический директор ProctorEdu
До 2016 года я разрабатывал систему прокторинга для Университета ИТМО. Там нужно было принимать дистанционно экзамены у небольшого числа слушателей онлайн-курсов и вступительные экзамены в аспирантуру. Для этого прокторы работали с каждым участником индивидуально и тратили на это немало времени. Но на небольших объемах это не было особой проблемой.
Разработка системы ProctorEdu началась в 2016 году, было желание автоматизировать процедуру прокторинга для обработки большого числа участников. Сначала появилась версия для синхронного сопровождения одним проктором одновременно нескольких участников, до 20 человек на одного проктора. А спустя год появилась первая версия с автоматизацией. В последующие годы она совершенствовалась и сейчас приблизилась к хорошему уровню точности, который позволяет при определенных условиях полностью довериться автоматике.
Контроль списывания и оценка доверия
ProctorEdu — автоматизированная система контроля онлайн тестов и экзаменов, которая решает проблемы подмены личности в ходе экзамена, списывания и утечки внутренних материалов. Система прокторинга встраивается в любую платформу для проведения тестов и работает в фоновом режиме.
Одна из базовых функций системы прокторинга ProctorEdu — верификация личности, которая состоит из двух этапов. Сначала система сверяет пользователя перед камерой с фотографией, которую он загружал при подаче заявки на прохождение теста. Затем система фотографирует его непосредственно перед прохождением теста и сверяет его с изначальной фотографией.
Наталья Царевская-Дякина
генеральный директор edtech акселератора ED2
Прокторинг перспективен ровно настолько, насколько перспективно онлайн образование, которое растет в России темпами 12-15% в год (в среднем по миру — 10%). Добавьте туда необходимость контролировать процесс получения знаний, проверять их и верифицировать учащегося. И ответ получится примерно такой: “Однозначно!!!” — с тремя восклицательными знаками.
С технической точки зрения барьеров к развитию данной технологии я не вижу, технология прекрасно работает. Барьеры только в регуляторных требованиях, как, например, в базовом образовании экзамены и защиты курсовых и дипломов должны быть обязательно очными, когда именно очность является гарантией верификации учащегося. Или в подходе к проверки знаний со стороны компании, когда она покупает дорогую систему для обучения сотрудников, но не ставит себе задачи проверять полученные сотрудниками знания. Но в любом случае приход технологий, организующих процесс сдачи тестов и экзаменов онлайн, только вопрос времени.
При этом полученные фотографии и видеопоток сравниваются со всей полученной базой, чтобы исключить случаи, когда за всех сдаёт экзамен один человек под разными фамилиями. Особенностью ProctorEdu является то, что система сверяет личность испытуемого непрерывно на протяжении всего сеанса тестирования каждые 10 секунд. Это позволяет избежать случаев, когда в середине теста люди меняются и тест начинает проходить другой человек.
В течение сеанса тестирования система также проводит анализ поведения человека. “Когда человек сдаёт тест, он может крутиться в разные стороны, и обычные технологии с этим справляются плохо, в отличие от нас”, — рассказывает Адени. ProctorEdu отслеживает 13 параметров поведения человека: открытие сторонней вкладки на мониторе, движение глаз, отклонение головы более чем на 30 градусов, появление второго человека перед камерой, разговор на фоне и ряд других. Все эти параметры автоматически фиксируются в протоколе и на их основе выставляется оценка доверия к экзамену.
— Например, если система выставила оценку доверия экзамену (который длился 1 час) 80%, то это значит, что 45-50 минут экзаменуемый находился без нарушений, — объясняет Адени.
После окончания теста экзаменатор получает протокол в виде интерактивного видео с поминутным указанием нарушений. Экзаменатор при необходимости может вручную просмотреть те моменты, в которых были зафиксированы нарушения, и принять окончательное решение о финальной оценке. Также экзаменатор получает отчет в виде графика в PDF формате, где визуализированы все измеряемые параметры по времени.
Помимо автоматического наблюдения существует дополнительная опция для заказчика — живой прокторинг, когда к онлайн экзамену подключаются наблюдатели, которые следят за ходом проведения экзамена и в случае нарушений могут подключиться к экзаменуемому с помощью чата или по видеосвязи.
Павел Лушников
бывший директор по ИТ международной школы “Летово”
Для обеспечения объективности и честности во время проведения экзаменов в дистанционной форме мы и используем прокторинг. Именно эта технология позволила нам набрать 240 детей на 2018/19 учебный год, и сейчас завершается вступительная кампания на 2019/20 год, по результатам которой еще около 200 детей будут приняты в школу.
Мы знаем о двух поставщиках решений прокторинга в России, успели попробовать с обоими. Каждый имеет свои преимущества и недостатки. ProctorEdu первыми смогли исправить критичные для нас недостатки (для нас важна способность выдерживать нагрузки), поэтому мы в конечном итоге остались с ними.
При любом варианте прокторинга тестируемый всегда знает, что при прохождении теста используется система наблюдения. Во-первых, об этом сообщает сам организатор. А во-вторых, человек даёт разрешение на использование микрофона, камеры и экрана. Сама система способна работать в фоновом режиме без опознавательных знаков. Пользователь не понимает, как происходит контроль и какие именно параметры фиксируются.
Одной из важных функций системы является борьба с копированием материалов. При попытке скопировать, распечатать или сделать снимок экрана появляется блокировка, которая закрывает всё содержимое теста.
За три года работы ProctorEdu доработал первую версию продукта и сильно отстроился от российских и западных конкурентов. В каком направлении развивать продукт, в значительной степени подсказали сами клиенты.
Так, в переговорах с индийской компанией Merittrac, которая делает около 4 млн онлайн тестов год, стало очевидно, что интеграция ProctorEdu должна быть максимально лёгкой.
— Я очень хорошо помню встречу по обсуждению процесса интеграции с фаундером и техническим директором этой компании, который не говорил по-английски. Мало того, что мне пришлось переводить всю встречу, так и обсуждение непосредственно технических моментов заняло несколько дней, а сама интеграция — несколько месяцев. Тогда мы поняли, что интеграция должна быть лёгкой без какого-либо взаимодействия между нашими разработчиками и техническими специалистами заказчика, — вспоминает Адени.
Когда предприниматели стали общаться с корпорациями, то начали работать над тем, чтобы система прокторинга могла работать в фоновом режиме без необходимости скачивать дополнительное программное обеспечение или устанавливать дополнительное расширение в браузере.
— Установка дополнительного ПО — довольно щепетильный вопрос для корпораций. На получение разрешения могут уйти месяцы, а то и годы. Мы единственные на рынке, чья система прокторинга работает без скачивания, — говорит Адени.
Сейчас предприниматели сфокусированы на развитии мобильной версии, поскольку это тренд корпоративного обучения.
— Система прокторинга — это альтернатива существующей системе бумажного экзамена. Там где тестирование и результаты этого тестирования значимы, требуется наша система. Именно поэтому наша задача — максимально снизить технические требования, делая этот продукт доступным для массового пользования, — говорит Артём.
Антон Скшидлевский
технический директор ProctorEdu
Ядром системы прокторинга ProctorEdu является модуль оценки доверия. Система непрерывно наблюдает за действиями человека на компьютере и перед камерой, оценивает их в режиме реального времени. Модуль основан на машинном обучении и других математических алгоритмах. Мы его постоянно совершенствуем и обучаем на новых данных, таким образом точность алгоритмов повышается, а погрешность снижается. Другой важный компонент системы прокторинга — видеопротоколирование и режим синхронного наблюдения. Видеопротоколы позволяют перепроверить работу автоматики и предоставить доказательства в случае апелляций. Режим синхронного наблюдения используется для важных онлайн экзаменов и олимпиад, где заказчику необходимо сопровождение процесса в реальном времени.
Планов на будущее хватает. Сейчас уже есть поддержка мобильных устройств (смартфонов, планшетов), можно подключить дополнительную мобильную камеру. В этом году планируем выпустить версию для работы в условиях ограниченного и плохого интернета. А также есть идеи по доработке алгоритмов оценки доверия и верификации личности, что позволит сделать следующий шаг к полной автоматизации процедуры прокторинга.
Работа через партнёров
ProctorEdu используют биллинговую систему. Заказчик говорит, сколько часов прокторинга ему нужно в год, и покупает лицензию на этот объём. По мере расходования средства списываются со счета клиента. Час прокторинга (для одного теста) стоит 99 руб., в Европе и Америке — $5-$7, а в Индии — $1-$2. “На каждом рынке смотрим существующие решения и выводим рыночный норматив. В Индии, например, стоимость в 4 раза ниже, чем в России, но цена компенсируется колоссальными объёмами”, — говорит Адени.
ProctorEdu на российском рынке чаще работает с компаниями напрямую (среди клиентов — Сколтех, “РусГидро”, “Летово” и другие), а на зарубежных рынках — по модели White Label, при которой реализация услуг прокторинга происходит под брендом компании-продавца. ProctorEdu находит крупного, надежного партнера, который предоставляет услуги разработки и размещения онлайн тестов, и интегрируется в их платформу. Далее партнёр уже самостоятельно ищет клиентов и перепродаёт им комплексное решение.
Такая модель позволяет выходить на международный рынок с минимальными затратами на персонал и маркетинг. “Например, клиент нашего индийского партнера Merittrac, который купил такое гибридное решение, — это американская компания. Получается, что в Америку мы продали через Индию”, — говорит Адени.
Он признаётся, что продавать напрямую (особенно в США) не всегда получается, — американцы не хотят работать с российской компанией.
— В прошлом году к нам обратилась напрямую (через наш международный сайт) очень крупная американская компания, которая делает больше 1 млн тестов в год. На сайте нет прямого указания, что мы в России, а в качестве контактного лица указан я, — вспоминает Адени. — Я с ними созваниваюсь, рассказываю фаундеру о наших возможностях, показываю максимальную нагрузку, которую мы выдерживаем, — они в восторге и просят как можно скорее подписать бумаги и начать работу. Нам присылают соглашение, Артём, как генеральный директор, его подписывает, ставит место подписания Москва и… Всё! На этом коммуникация закончилась, ни на почту, ни на телефон они больше не отвечали.
Модель White Label хороша и тем, что позволяет ProctorEdu не вникать в нюансы законодательства о персональных данных, которые имеют свои особенности в разных странах. Компании-партнёры размещают систему прокторинга на своих серверах без доступа программистов ProctorEdu к персональным данным клиентов и к содержанию и результатам тестов.
Наталия Галочкина
заместитель руководителя департамента по работе со студентами Сколтеха
В Сколтехе высокий конкурс, поэтому мы не можем допускать ошибок в процессе отбора, цена такой ошибки выходит очень высокой. В финале все кандидаты проходят очное интервью с профессорами, и чтобы отобрать финалистов, мы сначала проводим онлайн-экзамен. Нельзя, чтобы дальше прошел человек, списавший этот экзамен: он хоть и гарантированно провалится на интервью, потому что там списывать будет уже негде, но он все равно потратит время профессоров и займет место того, кто решал задания онлайн-этапа честно и собственным умом. Это недопустимо.
Решений на рынке было несколько, ProctorEdu выиграли и по цене, и по функциональности, и по надежности — даже выдержали демонстрацию системы профессорам, изначально настроенным скептически. При этом не сказала бы, что у нас большая коллекция собранных вопиющих нарушений: сам факт, что за тобой следят, мотивирует решать честно и не пытаться списывать. Хотя, конечно, бывает смешно: обнаруживаются и помощники, сидящие под столами, и замаскированные наушники, и даже подмена людей. Система автоматически вылавливает и посторонние лица, и чужой шепот, и переключения экранов — это экономит нам ресурсы и гарантирует качество проведения экзамена.
Университеты и корпорации
Предприниматели выделяют несколько направлений, где их решение уже используется и может быть интересно в будущем.
1. Проведение экзаменов в образовательной сфере. Университеты используют системы прокторинга для проведения экзаменов и промежуточных тестов у существующих студентов, а также чтобы расширить свою географию за счёт привлечения перспективных абитуриентов из других стран.
— Таким примером может стать Сколтех. Университет искал решение, которое позволит сократить время и финансовые издержки на отбор абитуриентов из разных стран на магистерские программы. Благодаря нашему решению они увеличили число обработанных заявок и сократили время отбора, — рассказывает Адени.
михаил иванов
заместитель проректора по цифровизации ФГБОУ ВО Финансовый университет при Правительстве РФ
Мы используем систему прокторинга для контроля прохождения мероприятий в формате тестовых испытаний по ряду дисциплин студентами-заочниками, обучающимися с применением дистанционных образовательных технологий. Благодаря этому формируется более высокий уровень ответственности студентов при подготовке к прохождению контрольных испытаний, а также минимизируется возможность использования дополнительных материалов (списывания) при прохождении промежуточной аттестации. На момент выбора системы прокторинга возможными вариантами были ProctorEdu и Examus. Оба решения удовлетворяют нашим требованиям.
2. Первичное и последующее обучение на рабочем месте. Если персонал не знает нужной информации, это напрямую влияет на продажи (когда продавец, например, не знает, чем отличается товар от его аналога) или может привести к катастрофе, когда сотрудник не знает, как действовать в случае аварии на буровой станции. Прокторинг позволяет контролировать знания сотрудников и своевременно принять меры.
— Очень интересно тестировать директоров магазинов, потому что они массово списывают. Интересный инсайт: чем выше человек по должности, тем больше у него склонность к списыванию. Одна компания, например, проводит аттестацию директоров раз в квартал, и каждый раз мы попадаем на людей, которые к ней готовятся: проводят совещания со своими айтишниками и ставят им задачу придумать способ обмануть систему, подключить второй монитор, скопировать вопросы и разослать своим коллегам. И это взрослые люди 45-50 лет. Смешно, но по факту это означает, что человек не отвечает требованиям компании, и компания несёт большие потери, — уверен Артем.
3. Профессиональная аттестация. Многие профессиональные ассоциации с определённой периодичностью проводят сертификацию профессионалов. Если раньше такие экзамены проходили исключительно в очном формате, то система прокторинга позволяет получить результат день в день.
— “Институт профессиональных бухгалтеров и аудиторов России” — наш самый старый клиент. Наше решение позволило им не только увеличить количество клиентов, но и сократить издержки: эксперту больше не нужно ездить по всей России и проводить бумажные тесты, — рассказывает Артём.
4. Набор персонала. Онлайн рекрутинг наиболее актуален для компаний, которые массово нанимают на работу персонал, система прокторинга позволит сократить время на отбор.
5. Олимпиады. Система прокторинга помогает проводить онлайн олимпиады с большим количеством участников по всей стране как университетам, так и корпорациям.
— Ежегодно Корпоративный университет гидроэнергетики “РусГидро” проводит отраслевую школьную олимпиаду. Изначально задания олимпиады рассылались по почте, а на проверку результатов уходило 2-3 месяца вне зависимости от количества участников. После того как мы подключили прокторинг, проверка результатов онлайн-тестирования сократилась до одной недели, — рассказывает Адени.
Культура списывания
За 2017 год выручка ProctorEdu составила 2,6 млн руб., а в 2018 году — 7,6 млн руб., то есть за год выросла почти в 3 раза. Размер прибыли предприниматели не раскрывают, но, по их словам, компания стала прибыльной через 8 месяцев после старта. Сегодня в команде проекта 9 человек. Программисты во главе с Антоном Скшидлевским работают в Санкт-Петербурге, Козин, Адебайо вместе с менеджерами по продажам и аккаунт-менеджерами — в Москве.
В планах предпринимателей — доработать мобильную версию системы прокторинга, а также выйти напрямую на американский рынок, поскольку, по их мнению, он самый востребованный.
— При выходе на зарубежные рынки мы учитываем культурные особенности, то есть как общество относится к списыванию. В Америке, например, за списывание человек может сесть в тюрьму. А в России или Индии — это норма, мол, ну списал, и что? Это напрямую влияет на ценность нашего продукта и, соответственно, продажи. Поэтому сейчас мы сфокусированы на американском рынке и хотим открыть там отдельный бизнес-юнит с местными специалистами, — рассказывает Адени.
Система онлайн прокторинга — это альтернатива существующей системе очных экзаменов. Предприниматели уверены, что там, где тестирование и его результаты значимы, требуется система прокторинга. “Рынок мы видим большой, вопрос в том, насколько он созрел, — уверен Козин. — Общаясь с корпорациями, мы поняли, что у всех разное видение. У кого-то нет понимания, на какие KPI влияет тестирование, а кто-то знает, какой эффект списывание оказывает на продажи. Наша задача, в том числе, — и образовывать рынок”.
