Обратное распространение

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

Обратное распространение — это метод, используемый для обучения нейронных сетей. Он работает следующим образом: сначала сравнивается выходная информация модели с правильным ответом, вычисляется погрешность, а затем эта погрешность передается в обратном направлении по сети для корректировки её внутренних параметров. На основе множества примеров модель постепенно совершенствуется. Обратное распространение является одной из ключевых технологий, лежащих в основе современного глубокого обучения.

Метод «мешок слов»

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

«Мешок слов» — это простой способ представления текста для машинного обучения. Он игнорирует грамматику и порядок слов и просто подсчитывает, какие слова встречаются в тексте. Например, фразы «ИИ помогает бизнесу» и «бизнес помогает ИИ» могут выглядеть очень похожими в модели «мешок слов». Этот подход менее совершенен, чем современные языковые модели, но по-прежнему полезен в некоторых задачах классификации текста.

Базовая модель

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

Базовая модель — это модель искусственного интеллекта, обученная на обширном наборе данных, но еще не специализированная для конкретного применения. Например, общую языковую модель можно обучить прогнозированию текста, а затем доработать, чтобы она стала полезным помощником, инструментом для составления юридических резюме или инструментом для программирования. Базовая модель — это фундамент, на котором строятся более специализированные системы.

Байесовский ИИ

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

Байесовский ИИ использует вероятности для рассуждений в условиях неопределённости. Вместо того чтобы давать только один ответ, байесовский подход позволяет обновлять свои предположения по мере поступления новых доказательств. Это полезно в медицине, прогнозировании, обнаружении спама и анализе рисков. Основная идея хорошо известна: когда появляется новая информация, мы пересматриваем то, что считаем вероятным.

Поиск по пучкам

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

Поиск по пучкам — это метод, используемый системами искусственного интеллекта при генерации последовательностей, таких как текст или переводы. Вместо того чтобы каждый раз выбирать только одно наиболее вероятное следующее слово, модель оставляет открытыми несколько возможных вариантов и исследует их. Это позволяет улучшить конечный результат. Это немного похоже на рассмотрение нескольких возможных маршрутов перед выбором оптимального пути.

BERT

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

BERT — влиятельная языковая модель, разработанная ещё до нынешней волны появления крупных инструментов диалогового ИИ. Она помогала компьютерам понимать текст, анализируя слова в контексте в обоих направлениях, а не просто читая слева направо. BERT широко использовалась в задачах поиска, классификации и понимания языка. Она помогла проложить путь для более продвинутых языковых моделей.

Предвзятость

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

В контексте ИИ термин «предвзятость» может иметь несколько значений. В техническом смысле он может относиться к допущениям, заложенным в модель. В социальном смысле он означает несправедливые или искажённые результаты, затрагивающие людей или группы людей. Оба значения важны. Полезная система ИИ нуждается в правильных технических допущениях, но при этом должна избегать вредной социальной предвзятости.

Большие данные

Источник: предоставленное изображение; автор: Стивен Уайтлоу;

Под большими данными понимаются чрезвычайно объемные, сложные или быстро меняющиеся наборы данных, с обработкой которых традиционные методы справляются с трудом. ИИ извлек огромную пользу из больших данных, поскольку многие системы машинного обучения работают лучше, когда их обучают на большем количестве примеров. Однако больше данных — не всегда лучше. Данные низкого качества, содержащие предвзятость или нерелевантные, по-прежнему могут привести к низкому качеству работы ИИ.