Описание проекта
У нашей компании накопились десятки тысяч бумажных счетов и сканов документов, которые сейчас лежат в папках и PDF-архивах без всякой возможности поиска и анализа. Нам нужен рабочий конвейер OCR-оцифровки: он берёт партию сканов, распознаёт текст на каждой странице и превращает неструктурированные изображения в чистые структурированные записи, по которым можно строить запросы. Объём растёт каждую неделю, поэтому решение должно работать автоматически по расписанию, забирать новые файлы из входной папки и обрабатывать их надёжно, без ручного присмотра за очередью. Точность для нас важнее скорости: неверная сумма или неправильно прочитанная дата порождают реальные проблемы в бухгалтерии, поэтому конвейер должен действовать осторожно и помечать всё, в чём он не уверен.
Конкретно по каждому документу система должна извлекать нужные нам поля: название поставщика, номер счёта, дату выставления, позиции (где они есть), валюту, сумму без налога, налог и итоговую сумму. После извлечения значения нужно проверять, даты приводить к единому каноническому формату, числа сверять так, чтобы позиции сходились с указанным итогом, а результаты с низкой уверенностью направлять в очередь на ручную проверку, а не записывать молча. Чистые записи следует выгружать и в нашу базу данных, и в таблицу, чтобы финансовый отдел мог сразу с ними работать. Предпочтительна реализация на Python с известным OCR-движком, понятным логированием и простым способом повторно обработать сбойные документы.
Просим относиться к этому как к боевому инструменту, а не к прототипу. Мы предоставим репрезентативный набор реальных сканов (разного качества, с поворотами и на разных языках) для настройки, и ожидаем в результате исходный код, инструкцию по установке и короткую передачу дел, чтобы наши сотрудники могли эксплуатировать и развивать систему.
— Забор сканов и PDF из отслеживаемой папки, выравнивание и очистка изображений перед распознаванием
— Извлечение поставщика, номера счёта, дат, сумм, налога и позиций с оценкой уверенности
— Проверка и нормализация полей; сверка позиций с итогом; отправка сомнительных результатов на ручную проверку
— Выгрузка структурированных записей в базу и в таблицу; логи и возможность повторного запуска
Конкретно по каждому документу система должна извлекать нужные нам поля: название поставщика, номер счёта, дату выставления, позиции (где они есть), валюту, сумму без налога, налог и итоговую сумму. После извлечения значения нужно проверять, даты приводить к единому каноническому формату, числа сверять так, чтобы позиции сходились с указанным итогом, а результаты с низкой уверенностью направлять в очередь на ручную проверку, а не записывать молча. Чистые записи следует выгружать и в нашу базу данных, и в таблицу, чтобы финансовый отдел мог сразу с ними работать. Предпочтительна реализация на Python с известным OCR-движком, понятным логированием и простым способом повторно обработать сбойные документы.
Просим относиться к этому как к боевому инструменту, а не к прототипу. Мы предоставим репрезентативный набор реальных сканов (разного качества, с поворотами и на разных языках) для настройки, и ожидаем в результате исходный код, инструкцию по установке и короткую передачу дел, чтобы наши сотрудники могли эксплуатировать и развивать систему.
— Забор сканов и PDF из отслеживаемой папки, выравнивание и очистка изображений перед распознаванием
— Извлечение поставщика, номера счёта, дат, сумм, налога и позиций с оценкой уверенности
— Проверка и нормализация полей; сверка позиций с итогом; отправка сомнительных результатов на ручную проверку
— Выгрузка структурированных записей в базу и в таблицу; логи и возможность повторного запуска
Разработка программ Наличные, Банковский перевод
