Анализ текста на естественном языке: шаблоны, регулярные выражения и частотный анализ
Цели и задачи
- Цель по SMART: к концу урока научиться выделять в тексте последовательности символов по заданному шаблону с помощью регулярных выражений и выполнять частотный анализ найденных элементов, объясняя корректность результата.
- Научиться различать буквальные символы, специальные символы и квантификаторы регулярного выражения.
- Сформировать умение составлять и проверять шаблоны для поиска слов, чисел, электронных адресов и других последовательностей в естественно-языковом тексте.
- Развивать алгоритмическое мышление, умение анализировать ошибочные решения и интерпретировать результаты обработки текста.
- Воспитывать ответственное отношение к автоматическому анализу информации: проверять границы применимости шаблона и не принимать результат программы без контроля.
Планируемые результаты
Личностные
- Осознают связь анализа текста с задачами программирования, лингвистики, информационной безопасности и будущей профессиональной деятельностью.
- Проявляют готовность проверять достоверность автоматически полученных результатов.
- Развивают самостоятельность при выборе способа построения и проверки шаблона.
- Понимают значение точного формального описания языка для обработки естественной речи.
Метапредметные
- Формулируют цель исследования текста и планируют последовательность действий для её достижения.
- Извлекают из текста нужные сведения, сопоставляют исходный материал с результатом поиска и выявляют пропуски.
- Работают в паре, аргументируют выбор символов и квантификаторов регулярного выражения.
- Интерпретируют частотную таблицу и делают выводы на основе количественных данных.
Предметные
- Знать назначение регулярных выражений и понятия «шаблон», «совпадение», «группа», «квантификатор».
- Уметь составлять шаблоны для последовательностей цифр, слов и простых электронных адресов.
- Уметь находить все совпадения шаблона в тексте и подсчитывать частоту повторения элементов.
- Уметь объяснять действие символов `.`, `*`, `+`, `?`, `\d`, `\w`, `^`, `$` в контексте заданного шаблона.
- Владеть приёмами тестирования регулярного выражения на положительных и отрицательных примерах.
Универсальные учебные действия (УУД)
Личностные УУД
- Определяют личный смысл изучения регулярных выражений для автоматизации работы с большими массивами текста.
- Проявляют познавательный интерес к исследованию языковых закономерностей.
- Осознают необходимость цифровой грамотности и критического отношения к результатам программного анализа.
- Принимают ответственность за точность созданного шаблона.
Регулятивные УУД
- Самостоятельно формулируют цель практической работы и критерии успешного результата.
- Планируют этапы: определить искомую последовательность, записать шаблон, проверить совпадения, подсчитать частоты.
- Осуществляют самопроверку по тестовым строкам и исправляют найденные ошибки.
- Оценивают полноту и точность решения по предложенной рубрике.
Познавательные УУД
- Выделяют существенные признаки искомой последовательности в естественно-языковом тексте.
- Сравнивают буквальный поиск и поиск по шаблону.
- Моделируют структуру последовательности с помощью специальных символов регулярного выражения.
- Анализируют частотные данные, группируют результаты и формулируют вывод.
Коммуникативные УУД
- Объясняют партнёру смысл каждого элемента регулярного выражения.
- Задают уточняющие вопросы о границах совпадения и возможных исключениях.
- Согласовывают общий вариант шаблона и распределяют роли при практической работе.
- Аргументированно защищают результат и корректно обсуждают ошибочные решения.
Подготовка учителя к уроку
- Подготовить ноутбук учителя, проектор или интерактивную доску и среду программирования с поддержкой регулярных выражений.
- Создать текстовый файл объёмом около 120–150 слов о цифровых технологиях, содержащий даты, числа, адреса электронной почты и повторяющиеся термины.
- Подготовить демонстрационный код поиска совпадений и подсчёта частот; предусмотреть вариант на языке Python с модулем `re`.
- Распечатать карточки трёх уровней: базовые шаблоны — по одной на ученика, практические задания — по одной на пару, исследовательские — по одной на группу.
- Вывести на доску памятку: `\d` — цифра, `\w` — символ слова, `+` — один или более раз, `*` — ноль или более раз, `?` — ноль или один раз, `^` — начало строки, `$` — конец строки.
- Подготовить таблицу для частотного анализа с колонками «Элемент», «Количество», «Доля», «Вывод».
- Распечатать лист самооценки и билет на выход по одному экземпляру на каждого ученика.
- Проверить, что в компьютерном классе разрешено запускать программы и сохранять результаты в отдельный файл.
Ход урока
Этап 1. Организационный момент и мотивация (3 мин)
Цель этапа: включить учащихся в исследовательскую деятельность и показать практическую значимость анализа больших текстов.
Время | Действие учителя | Действие учеников |
|---|---|---|
1 мин | Учитель приветствует класс и показывает на экране небольшой фрагмент сообщения с несколькими датами, числами и адресами электронной почты: "Представьте, что перед вами несколько тысяч сообщений. Нужно быстро найти все даты, адреса и номера заказов. Человек может просматривать текст долго, а программа должна получить точное правило поиска. Сегодня мы выясним, как описать такое правило." | Рассматривают текст на экране и называют элементы, которые можно искать автоматически: «даты», «числа», «адреса», «повторяющиеся слова». |
2 мин | Учитель использует приём «Проблемный вопрос»: "Как сообщить программе не конкретный найденный адрес, а общий признак любого адреса? Почему поиск по отдельному слову не решает задачу? Запишите свою гипотезу одним предложением." | Индивидуально формулируют гипотезу, затем обсуждают её с соседом и предлагают варианты: «нужно описать структуру последовательности», «нужен шаблон». |
Завершение этапа: учитель подводит итог: "Мы увидели, что для больших текстов нужен не перебор отдельных примеров, а формальное правило. Сейчас проверим, какие знания помогут нам построить такое правило."
Этап 2. Актуализация знаний (5 мин)
Цель этапа: актуализировать знания о строках, символах, циклах и словарях, необходимые для понимания частотного анализа.
Время | Действие учителя | Действие учеников |
|---|---|---|
2 мин | Учитель выводит на экран строку `data = "Информатика помогает анализировать данные"` и спрашивает: "Что в программе является строкой? Как получить длину строки, отдельный символ и список слов? Какие операции вы уже умеете выполнять с текстом?" | Отвечают: «строка — последовательность символов», называют операции определения длины, обращения по индексу, разбиения на слова и перебора циклом. |
3 мин | Учитель показывает небольшой фрагмент алгоритма подсчёта: "Если мы встречаем очередной элемент, его частоту можно увеличить на единицу. Какая структура данных удобна для хранения пары «элемент — количество»? Почему перед подсчётом часто приводят слова к одному регистру?" | Называют словарь, объясняют необходимость унификации регистра: «Слово и слово с заглавной буквы должны считаться одним элементом». |
Завершение этапа: учитель подводит итог: "Мы вспомнили строковые операции, перебор и словарь. Эти средства позволят посчитать частоты, но пока не дают удобного способа описывать сложные последовательности. Переходим к затруднению."
Этап 3. Постановка проблемы и целеполагание (4 мин)
Цель этапа: обнаружить ограниченность буквального поиска и совместно сформулировать цель урока.
Время | Действие учителя | Действие учеников |
|---|---|---|
2 мин | Учитель раздаёт парам карточку с фрагментом: `Связь: support@example.ru, info@school.ru; телефоны: 89161234567 и 8-916-123-45-67.` "Составьте обычный алгоритм поиска всех телефонных номеров. Какие варианты записи он должен учитывать? Запишите, где алгоритм может ошибиться." | В парах выделяют варианты записи телефонов, отмечают различия в длине и разделителях, формулируют затруднение: «перечислять все варианты неудобно». |
2 мин | Учитель фиксирует ответы на доске и задаёт вопрос: "Какое общее свойство есть у всех нужных последовательностей? Как записать это свойство компактно? Сформулируйте цель урока по схеме: «научиться… чтобы…»." | Формулируют цель: «научиться задавать шаблон последовательности, чтобы программа находила все подходящие фрагменты текста и считала их количество». |
Посмотрите план целиком
Зарегистрируйтесь — и откройте план урока по этой теме полностью: цели, ход урока и рефлексия по ФГОС.
Завершение этапа: учитель подводит итог: "Затруднение состоит в том, что один объект может иметь разные записи, но сохранять общую структуру. Нам нужен язык шаблонов — регулярные выражения. Сейчас мы построим его минимальный набор правил."
Этап 4. Открытие нового знания (10 мин)
Цель этапа: сформировать представление о синтаксисе регулярных выражений и научиться читать простые шаблоны.
Время | Действие учителя | Действие учеников |
|---|---|---|
4 мин | Учитель записывает на доске: `\d` — цифра, `\w` — символ слова, `.` — любой символ; `+` — повторение один или более раз; `*` — ноль или более раз; `?` — ноль или один раз. "Прочитаем выражение `\d+`: это одна или более цифр. Выражение `\d{4}` задаёт ровно четыре цифры. Почему шаблон `\d+` найдёт и `7`, и `2026`?" | Записывают обозначения в тетрадь, читают шаблоны вслух, отвечают: «квантификатор относится к предыдущему элементу». |
3 мин | Учитель демонстрирует на экране шаблон электронной почты: `[\w.-]+@[\w.-]+\.[A-Za-zА-Яа-я]{2,}` и поясняет: "Первая часть описывает имя, затем обязательный знак `@`, затем домен и точка с зоной из двух или более букв. Это учебная модель, а не абсолютная проверка всех адресов." | По частям расшифровывают выражение, подчёркивают имя, знак `@`, домен и зону, называют возможные ограничения модели. |
3 мин | Учитель запускает демонстрационный код: `re.findall(r"\d+", text)`. "Сначала предположите результат, затем сравните его с выводом программы. Почему в шаблоне используется необработанная строка? Что изменится, если искать только `\d` без `+`?" | Прогнозируют результат, сравнивают его с выводом, объясняют: «без `+` будут найдены отдельные цифры, а не целые последовательности». |
Запись в тетрадях
Записать: регулярное выражение — формальная запись шаблона для поиска последовательностей символов; `\d+` — последовательность из одной или более цифр; `\w+` — последовательность символов слова; квантификатор задаёт количество повторений предыдущего элемента.
Завершение этапа: учитель подводит итог: "Мы научились читать простые шаблоны и увидели, как программа возвращает все совпадения. Теперь применим правила сначала к коротким примерам, а затем к содержательному тексту."
Этап 5. Первичное закрепление в парах (7 мин)
Цель этапа: закрепить чтение и конструирование регулярных выражений на заданиях с постепенным усложнением.
Время | Действие учителя | Действие учеников |
|---|---|---|
3 мин | Учитель раздаёт карточки базового уровня: "Для каждой задачи запишите шаблон и два примера, которые он должен найти: 1) последовательность из ровно четырёх цифр; 2) слово, начинающееся с заглавной буквы; 3) последовательность цифр, возможно разделённых дефисом." Учитель напоминает: "Сначала обсуждаем смысл, затем записываем специальные символы." | В парах составляют варианты: `\d{4}`, `[А-ЯЁ][а-яё]+`, `\d+(?:-\d+)?`; тестируют их на предложенных строках и отмечают совпадения. |
2 мин | Учитель просит две пары записать решения на доске и задаёт вопросы: "К чему относится `?`? Почему скобки нужны именно в последней части? Как отличить совпадение от фрагмента более длинного слова?" | Представляют решения, объясняют действие группировки и квантификатора, предлагают добавить границы слова при необходимости. |
2 мин | Учитель проводит взаимопроверку по приёму «Две звезды и пожелание»: "Назовите два удачных элемента решения партнёров и один вопрос или возможное улучшение." | Проверяют шаблон другой пары, записывают две сильные стороны и одно пожелание, исправляют неточность. |
Завершение этапа: учитель подводит итог: "Шаблон нужно не только написать, но и проверить на подходящих и неподходящих примерах. Теперь каждый из вас выполнит самостоятельное задание и докажет корректность результата."
Этап 6. Самостоятельная практическая работа и частотный анализ (11 мин)
Цель этапа: применить регулярные выражения к естественно-языковому тексту и получить частотные характеристики найденных элементов.
Время | Действие учителя | Действие учеников |
|---|---|---|
2 мин | Учитель раздаёт общий текст о цифровой грамотности и карточки трёх уровней. "Выберите обязательный базовый вариант или повышенный. В каждом решении укажите исходный фрагмент, шаблон и полученный список совпадений. Не забывайте проверить границы поиска." | Выбирают уровень, открывают файл с текстом, выделяют, какие последовательности требуется найти. |
5 мин | Учитель формулирует задание: "С помощью программы найдите в тексте все числа и все слова длиной не менее пяти символов. Приведите результаты к единому регистру, составьте словарь частот и выведите пять наиболее частотных слов. В коде используйте регулярное выражение и не учитывайте одиночные знаки препинания." | Пишут или дополняют программу с `re.findall`, переводят найденные слова в нижний регистр, создают словарь частот, сортируют пары «слово — количество», получают пять наиболее частотных слов. |
4 мин | Учитель предлагает проверку по чек-листу: "Проверьте три вещи: найдено ли каждое число; не попали ли в список знаки препинания; совпадают ли частоты при повторном запуске. Затем объясните, почему самое частотное слово оказалось первым." | Проверяют результат по чек-листу, сопоставляют несколько совпадений с исходным текстом, формулируют вывод о частотности и возможных служебных словах. |
Эталон решения
Для чисел: `numbers = re.findall(r"\d+", text)`. Для слов: `words = re.findall(r"[А-Яа-яЁёA-Za-z]{5,}", text.lower())`. Подсчёт: `freq = {}`; для каждого `word` увеличить `freq[word]` на единицу. Затем отсортировать пары по убыванию количества. Перед выводом проверить несколько слов непосредственно в исходном тексте: это позволяет обнаружить ошибку в шаблоне или границах последовательности.
Завершение этапа: учитель подводит итог: "Вы получили не просто список совпадений, а измеримый результат анализа текста. Однако частота зависит от выбранного шаблона: например, учитывать ли окончания, дефисы и слова разных форм. Обсудим, как интерпретировать результат и где проходит граница применимости модели."
Этап 7. Интерпретация результатов и рефлексия (5 мин)
Цель этапа: обобщить способы применения регулярных выражений, осознать ограничения автоматического анализа и проверить достижение цели.
Время | Действие учителя | Действие учеников |
|---|---|---|
2 мин | Учитель организует мини-обсуждение: "Сравните результаты двух групп. Почему частоты могли различаться? Что произойдёт, если не привести слова к нижнему регистру? Почему регулярное выражение не понимает смысл слова, а только проверяет форму?" | Сравнивают таблицы, объясняют влияние регистра, знаков препинания и выбранного шаблона, формулируют: «регулярное выражение распознаёт структуру, но не контекст и значение». |
2 мин | Учитель раздаёт лист самооценки: "Отметьте, умеете ли вы прочитать `\d{4}`, составить шаблон для числа, найти совпадения и построить частотный словарь. Одним предложением запишите, что нужно проверить перед использованием шаблона." | Заполняют чек-лист, записывают правило самопроверки: «нужно протестировать шаблон на положительных и отрицательных примерах». |
1 мин | Учитель проводит билет на выход: "Ответьте письменно: какой шаблон найдёт последовательность из двух или более цифр, разделённых необязательным дефисом? Назовите одну типичную ошибку при частотном анализе." | Записывают ответ `\d+(?:-\d+)+` для двух и более групп либо уточняют условие; называют ошибки регистра, границ слова или включения знаков препинания. |
Завершение этапа: учитель подводит итог: "Сегодня вы прошли путь от проблемы поиска в большом тексте до работающей модели: сформулировали шаблон, проверили совпадения и получили частоты. Дома закрепите базовые конструкции и попробуйте сделать шаблон точнее."
Критерии оценивания практической работы
- «5» — корректно составлены не менее трёх регулярных выражений, программа находит нужные последовательности без существенных лишних совпадений, частотный словарь построен верно, результаты проверены на исходном тексте и вывод аргументирован.
- «4» — выполнены основные задания, найдено большинство совпадений, частотный анализ проведён верно, но допущена одна неточность в границах шаблона, сортировке или объяснении результата.
- «3» — составлен хотя бы один рабочий шаблон и получены отдельные совпадения, однако частотный анализ неполон либо не выполнена проверка на отрицательных примерах.
Рефлексия
Вопрос для ученика | Цель вопроса |
|---|---|
Что нового обозначают символы `\d`, `+` и `?` в регулярном выражении? | Проверка осознания базового синтаксиса и действия квантификаторов. |
Как вы проверяли, что ваш шаблон не находит лишние фрагменты? | Выявление сформированности навыка тестирования и самоконтроля. |
Почему одинаковый текст может дать разные частотные таблицы? | Проверка понимания зависимости результата от предварительной обработки и шаблона. |
Какой этап работы оказался самым сложным и почему? | Выявление субъективных точек затруднения для планирования следующего урока. |
Завершающее слово учителя
"Сегодня мы научились описывать структуру текстовых последовательностей с помощью регулярных выражений и использовать программу для их поиска. Важно помнить: шаблон не понимает смысл текста, поэтому его необходимо проверять на подходящих и неподходящих примерах. Частотный анализ становится надёжным только после продуманной нормализации данных. На следующем уроке мы усложним обработку текста: рассмотрим группы, варианты совпадений и извлечение структурированных данных из документов."
Домашнее задание
Уровень | Что задать | Зачем |
|---|---|---|
Базовый (обязательный) | Составить и протестировать 4 регулярных выражения: для целого числа, даты в формате день-месяц-год, слова длиной не менее пяти символов и последовательности цифр с необязательным дефисом. Для каждого привести по два положительных и два отрицательных примера. | Закрепляет чтение специальных символов и навык проверки шаблона; при проверке смотреть на соответствие примеров заявленному условию. |
Средний (повышающий) | Написать программу для анализа небольшого текста объёмом 100–150 слов: найти все слова, привести их к нижнему регистру, исключить слова короче четырёх символов и вывести пять наиболее частотных слов. | Формирует умение объединять регулярный поиск с обработкой строк и словарём частот; при проверке смотреть на корректность очистки и сортировки. |
Продвинутый (дополнительный) | Разработать шаблон для извлечения электронных адресов и номеров телефонов из специально составленного текста. Описать минимум два ограничения модели и предложить тестовые строки, на которых шаблон может сработать неверно. | Развивает исследовательское мышление и понимание границ применимости формальной модели; при проверке смотреть на аргументацию и качество тестов. |
Контрольные вопросы перед выходом: «Что такое регулярное выражение? Чем отличается `\d` от `\d+`? Зачем приводить найденные слова к одному регистру? Как проверить, что шаблон не даёт лишних совпадений? Что показывает частотный анализ текста?»