Источник изображения: сгенерировано инструментом Unbounded AI
Этот вступительный экзамен в колледж должен стать самым особенным за последние пять лет. Потому что появилась новая роль — кандидаты ИИ.
Как только экзамен по китайскому языку в первый день закончился, в Интернете стартовал конкурс сочинений ИИ. Такие модели искусственного интеллекта, как GhatGPT, Wenxin Yiyan и Tongyi Qianwen, используются людьми для написания эссе для вступительных экзаменов в колледж. За несколько секунд можно сгенерировать статью, которая не только удивительно быстра, логически строга, но и цитирует классиков.
На первый взгляд, написание крупномасштабных моделей ИИ слишком просто, и это кажется ударом по людям. Ведь по запасам знаний никто не может сравниться с ИИ. ИИ изучает и переваривает всю информацию в Интернете, а затем имитирует человеческие выражения и использует собственную логику для вывода.
Однако если мы внимательно проанализируем «листы ответов» кандидатов на ИИ, мы обнаружим, что ИИ не так всемогущ, как многие представляют. В композиции также появляются такие проблемы, как рутинное письмо, неумение считать и бессмыслица, характерные для больших моделей ИИ.
** На самом деле, согласно стандартам оценки эссе для вступительных экзаменов в колледж, эссе, созданные ИИ, имеют некоторые ограничения. Победить людей пока нереально. **
Deep AI протестировал три большие модели ИИ — GhatGPT (OpenAI), Wenxin Yiyan (Baidu) и Tongyi Qianwen (Ali) — с составом вступительного экзамена в колледж и пришел к некоторым интересным выводам.
Например, ИИ не умеет считать, и ни одно из эссе, написанных Вэньсинь Йияном и Тонгицяньцяном, не достигло жесткого требования «не менее 800 слов»; Саид; написание ИИ в принципе неотделимо от рутины, а шаблон — это применялась неоднократно.
Ниже приведены подробности, добро пожаловать на обсуждение.
1 Безэмоциональный автоответчик
Тема вступительного экзамена в Национальный колледж в этом году – "Люди·Технологии·Время". Его необходимо начинать с предложения "Люди лучше контролируют время благодаря технологическому развитию, но некоторые люди стали слугами времени" и писать свои ассоциации.и думать.
Давайте сначала взглянем на «Анализ тестовых вопросов», выпущенный Образовательным экзаменационным институтом Министерства образования:
**Ключевые моменты: помогите кандидатам глубоко задуматься о важности рационального анализа и осмотрительного суждения в век информации. Это ядро статьи. **
Глубокий ИИ протестировал три большие модели и обнаружил, что ни одна из них не улавливала суть — говорили обо всем, но ничего не говорили.
Первый взгляд на состав GhatGPT:
Посмотрите еще раз на слова Вэньсинь:
Наконец, посмотрите на вопрос Тонга Ицяня:
Эти три эссе можно назвать вершиной «мастеров дуань-шуй», они говорили о плюсах и минусах темы, но не объясняли в полной мере суть «критического мышления». Только в заявлении Вэнь Синя прямо упоминается «развитие глубокого мышления и критического мышления».
Состав Tongyi Qianwen самый пустой. В нем делается упор на «управление временем», что отклоняется от темы, и правда обсуждения тоже здравый смысл. Кроме того, у состава Тонги Цяньвэня нет названия, и баллы будут вычтены.
Давайте воспользуемся тестовым вопросом по сочинению «Сила истории» в томе I нового стандарта учебной программы, чтобы увидеть результаты трех школ.
Это сочинение требует, чтобы вы написали свои собственные ассоциации и мысли на основе следующего отрывка: хорошая история может помочь нам лучше выражать и общаться, тронуть сердце и просветить мудрость; хорошая история может изменить судьбу человека, может представить образ нация... Истории имеют силу.
Состав GhatGPT:
Буквально:
Часто задаваемые вопросы:
Следует сказать, что помимо относительно простой композиции Тунъи Цяньвэнь, выразительность, логика письма и особенно использование слов в двух других статьях замечательны. В частности, Вэнь Синьиян использует метод открытия на основе сцены, который привлекает внимание.
Но проблема также очевидна — ** одно и то же повторяется снова и снова разными словами, что приводит к чтению всего текста, давая людям ощущение «я знаю, что вы сказали». **
Безэмоциональный автоответчик, это оценка многих людей.
«Контент пуст, а колеса меняются и говорят туда-сюда», — прокомментировали некоторые люди. Другой сказал: «Без питания это все чепуха».
С тем же успехом мы могли бы разобрать эту композицию Вэнь Синьияня, и мы узнаем, что такое «Чэцзилухуа».
Части, отмеченные в тексте желтым и зеленым цветом, имеют точно такое же значение, и можно даже сказать, что это одни и те же слова, которые неоднократно встречаются в тексте. В конце статьи весь абзац с пометкой «резюме» представляет собой мешанину из точек зрения и речевых навыков в статье.
Это дает людям визуальное ощущение подсчета слов.
Глубокий ИИ изменил слова подсказки, чтобы ChatGPT представил, что он был кандидатом на сайте вступительных экзаменов в колледж, и снова написал сочинение.Первое предложение, которое появилось, было: «Когда я сидел на месте этого экзамена, современные электронные ручки..."
Сдавая тест таким образом, предполагается, что он будет приговорен к нарушению и получит сразу ноль баллов.
**Отсутствует душа, что является самым большим минусом для композиции ИИ. **
2 подпрограммы, все подпрограммы
Чтобы композиция выглядела именно так, ИИ использовал множество подпрограмм.
Им нравится использовать шаблоны предложений «первый, второй, затем, последний». Наиболее типичным является ChatGPT, последний абзац должен быть "В общем..."
Например, эти два эссе ChatGPT:
Подобные процедуры есть в Wenxinyiyan и Tongyiqianwen. Выход в предыдущей трапезе был свиреп, как тигр, и он должен заканчиваться "одним словом" и "одним словом" в конце.
Это то же самое, что играть на гитаре: если вы освоите универсальную формулу аккордов (например, универсальную каноническую последовательность), вы сможете сыграть сотни мелодий.
Даже мы попросили Вэнь Синьияна оценить написанную нами композицию, и это также было долгое обсуждение «первого, второго, другого и вообще…».
В вопросе о композиции «Люди · Технология · Время» ChatGPT и Tongyi Qianwen фактически использовали почти одно и то же выражение: используйте «тогда», чтобы задать вопрос, и используйте «первый, второй и последний», чтобы развить конкретную дискуссию. Структура и логика, кажется, вырезаны из одной формы.
** Несмотря на это, Вэнь Синьиян уверенно поставила своей композиции на вступительных экзаменах в колледж высокий балл 90 (при условии, что полный балл 100), а также оценила себя как «достойную признания». Мы отправили его композицию в ChatGPT, и ChatGPT без колебаний дал ей 100 баллов...**
Большая модель ИИ похожа на промышленную сборочную линию, производящую композиции партиями. Но по сути, как бы по-человечески это не звучало, движущей технологией являются математика и статистика, а не сознание.
В индустрии искусственного интеллекта ИИ всегда было очень трудно понимать и говорить на человеческом языке. Естественный язык человека — чрезвычайно сложная система.Ученые позволяют машине моделировать нейронную сеть человеческого мозга, делая ее способной к глубокому обучению, но она все еще не обладает такими же способностями к естественному языку, как люди.
Поэтому некоторые люди нашли другой способ превратить языковую проблему в математическую, а затем косвенно решить проблему обработки естественного языка посредством вычислений. По словам Ву Цзюня, специалиста по обработке естественного языка, языковая модель — это не логическая структура или система биологической обратной связи, а модель, построенная с помощью математических формул. **Ключевое слово здесь «математика». **
** Это определяет, что искусственный интеллект не обладает самосознанием или эмоциями и не может говорить в соответствии с личными чувствами. Для них написание сочинения — логическое выражение, ориентированное на результат и задачи. **
Собирая огромные объемы данных со всей сети для обучения и постоянно учась имитировать выражения человеческого языка, большая модель ИИ теперь говорит очень близко к людям.Хотя она все еще не понимает смысла слов, это не влияет коммуникация.
По сути, у ИИ нет собственного разума. Это и является основной причиной того, что его композиция выглядит ясной и логичной: если вы внимательно ее прочитаете, то обнаружите, что в ней нет души, а сплошная рутина.
3 ИИ действительно не умеет считать
Как мы упоминали ранее, все параметры языковой модели получаются с помощью статистики. Его принцип состоит в том, чтобы предсказать вероятность следующего слова с учетом истории текста, а затем завершить следующее.
В 2017 году Google впервые предложила модель Transformer, основанную на механизме внутреннего внимания, теперь на архитектуре Transformer построены большие языковые модели, такие как ChatGPT.
Механизм внимания Transformer имеет чрезвычайно большую память, чем предыдущие алгоритмы глубокого обучения, такие как RNN (рекуррентная нейронная сеть), GRU и LSTM. **Он также может запомнить порядок ввода, чтобы понять разницу между «Я люблю тебя» и «Ты меня любишь». **
Но даже в этом случае у него есть ограничения.
Например, Deep AI попросил Tongyi Qianwen оценить собственную композицию, что спутало понятия «ты» и «я». Сначала он сказал, что это его собственная статья, а потом сказал, что это "ваша" статья...
Лонг Чжиюн, автор книги «Эра больших моделей», объяснил Deep AI: «**Это может быть связано с изменением позиции с точки зрения борьбы между левыми и правыми. **
В процессе тестирования большой модели ИИ для написания вступительного экзамена в колледж мы также обнаружили интересное явление — ИИ не может считать.
К составу вступительного экзамена в колледж предъявляется требование, чтобы количество слов было не менее 800 слов. Глубокий ИИ взаимодействовал с большой моделью много раз.** За исключением ChatGPT, первое издание Wenxin Yiyan и Tongyi Qianwen не достигло 800 слов. **
Например, Wenxin Yiyan, Deep AI неоднократно напоминал, что количество слов в статье недостаточно для 800, и ее нужно переписать. Вэнь Синь каждый раз повторял это: сначала он очень скромно извинялся, обещал выполнить требования, а затем быстро создавал новую композицию за десять секунд — все равно меньше 800 слов.
Этот "кандидат" не может понять вопросы по сочинению, и не исправляет его после повторного обучения, что является большим минусом.
Лонг Чжиюн объяснил Deep AI: «Метод обучения большой модели предсказанию следующего слова не позволяет ей научиться считать. Она не знает, сколько будет 800, и не знает, как считать слова, чтобы генерировать статьи**».
На самом деле, не говоря уже о 800, Вэнь Синь даже не умеет считать числа вроде 10.
Это проблема языковых моделей в целом. Насчет того, почему их нельзя считать, когда и каким методом их можно считать, вывода пока нет. «Хотя есть несколько советов, которые помогут ей считать, это не общее решение. ** Текущий этап большой модели заключается в проверке ее возможностей путем проведения экспериментов с черным ящиком и улучшении ее возможностей путем обучения с использованием черного ящика». * "Сказал Лун Чжиюн.
По предложению Лонг Чжиёна, Deep AI изменил подсказки и ввел «чем богаче контент, тем он длиннее», а Wenxin Yiyan вывел композицию из более чем 800 слов.
В предыдущих вопросах по сочинению для вступительного экзамена в колледж состав ChatGPT превышал 800 слов, но по факту считать не научился.
ChatGPT объясняет Deep AI следующим образом:
Поэтому на самом деле количество слов в сочинении «отличника» ChatGPT находится на уровне нормы, чему обязана Мэн. Он не знает, сколько 800 слов, поэтому просто пишет столько, сколько возможно.
Я не могу до конца понять человеческий язык, но у меня есть супер запасы знаний и выразительные способности, что иногда приводит к ошеломляющим сценам.
Судя по результатам вступительного экзамена в военный колледж ИИ, способность большой модели к письму значительно улучшилась. По выбору слов, логическому рассуждению и цитированию он даже превзошел многих.
Однако оценка качества самой композиции имеет субъективные факторы, в отличие от математической задачи, где есть только один правильный ответ. Красивые слова и фразы те же, а интересные души - одна на миллион. Как влить душу в композицию, модель ИИ пока не разобралась. Некоторые проблемы, присущие большой модели ИИ, также необходимо решать постепенно, путем технических итераций.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Состав вступительного экзамена в колледж AI Wars: макияж, слова для макияжа, универсальная рутина
Источник: «Глубокий ИИ» (ID: DeepAI2023), Автор: Ли Мин, Редактор: Вэй Цзя
Этот вступительный экзамен в колледж должен стать самым особенным за последние пять лет. Потому что появилась новая роль — кандидаты ИИ.
Как только экзамен по китайскому языку в первый день закончился, в Интернете стартовал конкурс сочинений ИИ. Такие модели искусственного интеллекта, как GhatGPT, Wenxin Yiyan и Tongyi Qianwen, используются людьми для написания эссе для вступительных экзаменов в колледж. За несколько секунд можно сгенерировать статью, которая не только удивительно быстра, логически строга, но и цитирует классиков.
На первый взгляд, написание крупномасштабных моделей ИИ слишком просто, и это кажется ударом по людям. Ведь по запасам знаний никто не может сравниться с ИИ. ИИ изучает и переваривает всю информацию в Интернете, а затем имитирует человеческие выражения и использует собственную логику для вывода.
Однако если мы внимательно проанализируем «листы ответов» кандидатов на ИИ, мы обнаружим, что ИИ не так всемогущ, как многие представляют. В композиции также появляются такие проблемы, как рутинное письмо, неумение считать и бессмыслица, характерные для больших моделей ИИ.
** На самом деле, согласно стандартам оценки эссе для вступительных экзаменов в колледж, эссе, созданные ИИ, имеют некоторые ограничения. Победить людей пока нереально. **
Deep AI протестировал три большие модели ИИ — GhatGPT (OpenAI), Wenxin Yiyan (Baidu) и Tongyi Qianwen (Ali) — с составом вступительного экзамена в колледж и пришел к некоторым интересным выводам.
Например, ИИ не умеет считать, и ни одно из эссе, написанных Вэньсинь Йияном и Тонгицяньцяном, не достигло жесткого требования «не менее 800 слов»; Саид; написание ИИ в принципе неотделимо от рутины, а шаблон — это применялась неоднократно.
Ниже приведены подробности, добро пожаловать на обсуждение.
1 Безэмоциональный автоответчик
Тема вступительного экзамена в Национальный колледж в этом году – "Люди·Технологии·Время". Его необходимо начинать с предложения "Люди лучше контролируют время благодаря технологическому развитию, но некоторые люди стали слугами времени" и писать свои ассоциации.и думать.
Давайте сначала взглянем на «Анализ тестовых вопросов», выпущенный Образовательным экзаменационным институтом Министерства образования:
Глубокий ИИ протестировал три большие модели и обнаружил, что ни одна из них не улавливала суть — говорили обо всем, но ничего не говорили.
Первый взгляд на состав GhatGPT:
Состав Tongyi Qianwen самый пустой. В нем делается упор на «управление временем», что отклоняется от темы, и правда обсуждения тоже здравый смысл. Кроме того, у состава Тонги Цяньвэня нет названия, и баллы будут вычтены.
Давайте воспользуемся тестовым вопросом по сочинению «Сила истории» в томе I нового стандарта учебной программы, чтобы увидеть результаты трех школ.
Это сочинение требует, чтобы вы написали свои собственные ассоциации и мысли на основе следующего отрывка: хорошая история может помочь нам лучше выражать и общаться, тронуть сердце и просветить мудрость; хорошая история может изменить судьбу человека, может представить образ нация... Истории имеют силу.
Состав GhatGPT:
Но проблема также очевидна — ** одно и то же повторяется снова и снова разными словами, что приводит к чтению всего текста, давая людям ощущение «я знаю, что вы сказали». **
Безэмоциональный автоответчик, это оценка многих людей.
«Контент пуст, а колеса меняются и говорят туда-сюда», — прокомментировали некоторые люди. Другой сказал: «Без питания это все чепуха».
С тем же успехом мы могли бы разобрать эту композицию Вэнь Синьияня, и мы узнаем, что такое «Чэцзилухуа».
Это дает людям визуальное ощущение подсчета слов.
Глубокий ИИ изменил слова подсказки, чтобы ChatGPT представил, что он был кандидатом на сайте вступительных экзаменов в колледж, и снова написал сочинение.Первое предложение, которое появилось, было: «Когда я сидел на месте этого экзамена, современные электронные ручки..."
**Отсутствует душа, что является самым большим минусом для композиции ИИ. **
2 подпрограммы, все подпрограммы
Чтобы композиция выглядела именно так, ИИ использовал множество подпрограмм.
Им нравится использовать шаблоны предложений «первый, второй, затем, последний». Наиболее типичным является ChatGPT, последний абзац должен быть "В общем..."
Например, эти два эссе ChatGPT:
Это то же самое, что играть на гитаре: если вы освоите универсальную формулу аккордов (например, универсальную каноническую последовательность), вы сможете сыграть сотни мелодий.
Даже мы попросили Вэнь Синьияна оценить написанную нами композицию, и это также было долгое обсуждение «первого, второго, другого и вообще…».
Большая модель ИИ похожа на промышленную сборочную линию, производящую композиции партиями. Но по сути, как бы по-человечески это не звучало, движущей технологией являются математика и статистика, а не сознание.
В индустрии искусственного интеллекта ИИ всегда было очень трудно понимать и говорить на человеческом языке. Естественный язык человека — чрезвычайно сложная система.Ученые позволяют машине моделировать нейронную сеть человеческого мозга, делая ее способной к глубокому обучению, но она все еще не обладает такими же способностями к естественному языку, как люди.
Поэтому некоторые люди нашли другой способ превратить языковую проблему в математическую, а затем косвенно решить проблему обработки естественного языка посредством вычислений. По словам Ву Цзюня, специалиста по обработке естественного языка, языковая модель — это не логическая структура или система биологической обратной связи, а модель, построенная с помощью математических формул. **Ключевое слово здесь «математика». **
** Это определяет, что искусственный интеллект не обладает самосознанием или эмоциями и не может говорить в соответствии с личными чувствами. Для них написание сочинения — логическое выражение, ориентированное на результат и задачи. **
Собирая огромные объемы данных со всей сети для обучения и постоянно учась имитировать выражения человеческого языка, большая модель ИИ теперь говорит очень близко к людям.Хотя она все еще не понимает смысла слов, это не влияет коммуникация.
По сути, у ИИ нет собственного разума. Это и является основной причиной того, что его композиция выглядит ясной и логичной: если вы внимательно ее прочитаете, то обнаружите, что в ней нет души, а сплошная рутина.
3 ИИ действительно не умеет считать
Как мы упоминали ранее, все параметры языковой модели получаются с помощью статистики. Его принцип состоит в том, чтобы предсказать вероятность следующего слова с учетом истории текста, а затем завершить следующее.
В 2017 году Google впервые предложила модель Transformer, основанную на механизме внутреннего внимания, теперь на архитектуре Transformer построены большие языковые модели, такие как ChatGPT.
Механизм внимания Transformer имеет чрезвычайно большую память, чем предыдущие алгоритмы глубокого обучения, такие как RNN (рекуррентная нейронная сеть), GRU и LSTM. **Он также может запомнить порядок ввода, чтобы понять разницу между «Я люблю тебя» и «Ты меня любишь». **
Но даже в этом случае у него есть ограничения.
Например, Deep AI попросил Tongyi Qianwen оценить собственную композицию, что спутало понятия «ты» и «я». Сначала он сказал, что это его собственная статья, а потом сказал, что это "ваша" статья...
В процессе тестирования большой модели ИИ для написания вступительного экзамена в колледж мы также обнаружили интересное явление — ИИ не может считать.
К составу вступительного экзамена в колледж предъявляется требование, чтобы количество слов было не менее 800 слов. Глубокий ИИ взаимодействовал с большой моделью много раз.** За исключением ChatGPT, первое издание Wenxin Yiyan и Tongyi Qianwen не достигло 800 слов. **
Например, Wenxin Yiyan, Deep AI неоднократно напоминал, что количество слов в статье недостаточно для 800, и ее нужно переписать. Вэнь Синь каждый раз повторял это: сначала он очень скромно извинялся, обещал выполнить требования, а затем быстро создавал новую композицию за десять секунд — все равно меньше 800 слов.
Этот "кандидат" не может понять вопросы по сочинению, и не исправляет его после повторного обучения, что является большим минусом.
Лонг Чжиюн объяснил Deep AI: «Метод обучения большой модели предсказанию следующего слова не позволяет ей научиться считать. Она не знает, сколько будет 800, и не знает, как считать слова, чтобы генерировать статьи**».
На самом деле, не говоря уже о 800, Вэнь Синь даже не умеет считать числа вроде 10.
По предложению Лонг Чжиёна, Deep AI изменил подсказки и ввел «чем богаче контент, тем он длиннее», а Wenxin Yiyan вывел композицию из более чем 800 слов.
В предыдущих вопросах по сочинению для вступительного экзамена в колледж состав ChatGPT превышал 800 слов, но по факту считать не научился.
ChatGPT объясняет Deep AI следующим образом:
Я не могу до конца понять человеческий язык, но у меня есть супер запасы знаний и выразительные способности, что иногда приводит к ошеломляющим сценам.
Судя по результатам вступительного экзамена в военный колледж ИИ, способность большой модели к письму значительно улучшилась. По выбору слов, логическому рассуждению и цитированию он даже превзошел многих.
Однако оценка качества самой композиции имеет субъективные факторы, в отличие от математической задачи, где есть только один правильный ответ. Красивые слова и фразы те же, а интересные души - одна на миллион. Как влить душу в композицию, модель ИИ пока не разобралась. Некоторые проблемы, присущие большой модели ИИ, также необходимо решать постепенно, путем технических итераций.