Фон
В прошлом году у меня возникла идея автоматизировать обработку форм, и я думаю, что это определенно поможет многим предприятиям сократить усилия по найму людей только для ввода данных. Мало того, это значительно поможет уменьшить человеческий фактор при вводе данных.
Моей конечной целью было запечатлеть рукописный текст на печатной форме.
Архитектурный дизайн
С технологиями того времени, чтобы достичь того, чего я хочу, мне нужно либо продолжать тренировать и настраивать модель с помощью машинного обучения, либо мне нужно найти другие решения. Из-за моих ограниченных знаний я выбрал последнее, которое я получил с использованием Microsoft Custom Vision + Cognitive Service (в частности, Computer Vision API).
Custom Vision позволяет мне тренироваться с набором образцов форм и помечать тегами все рукописные тексты в печатной форме. После завершения обучения, когда я пройду тестовую форму, API сообщит, где эти рукописные тексты расположены на формах.
Затем мы возьмем это и отправим в API компьютерного зрения Cognitive Service для перевода рукописного текста в цифровой.
Результаты эксперимента
То, что мы достигли в описанном выше подходе, выглядит следующим образом:
- Обучил формы с помощью Custom Vision
- Перевод рукописного текста в цифровой.
- Достигнута только ~50% точность.
Второй эксперимент — расширение с помощью веб-технологий.
С помощью Го Чун Лин нам удалось расширить его с помощью веб-технологий, которые затем позволили нам настроить и настроить, и самое интересное, увидеть наш подход с почти немедленным результатом. Мы должны были подготовить и представить эту идею на мероприятии FutureNow Singapore в январе 2019 года. Но не успели вовремя. Поэтому мы решили открыть его исходный код, и вы можете скачать проект на GitHub, указанный в разделе репозиторий DotNetSG, который является инициативой Techconnect.io.
