Как отличить литературу от макулатуры

[snyders]

Дано: Текст Т, т.е. последовательность слов а1, а2, а3...
Очень большой корпус С текстов данного языка, не содержащий Т.

Алгоритм:

Ищем а1 в С, если нашли, ищем
"а1 а2" в С, если нашли, ищем
"а1 а2 а3" в С и т.д.
пока не найдем максимальную общую подстроку
"а1 а2 а3... ак", запоминаем "к".
Начинаем искать следующую максимальную подстроку
"а_к+1, а_к+2 ...", находим, запоминаем длину.
и т.д.

Вычисляем среднюю длину Д максимальной подстроки.
Если Д > 3 то T -- макулатура.

Проверено с Google в качестве корпуса С, на примере Набоковского текста и какой-то официальной телеги. Впечатляет.

Comments

[cmm.livejournal.com]

хм.   надо приспособить данную методу для распознавания спама. :)

[snyders.livejournal.com]

Нет, это слишком радикально. Большая часть деловой переписки отфильтруется.

[dmierkin.livejournal.com]

любопытно. у вас скрипт остался ?

[snyders.livejournal.com]

Руками проверял, я скриптов не писец. Порог 3 -- оценка, если будет скрипт, надо поиграть, настроить.