Не доверяйте ChatGPT вычислениям

Крайне важно проверять все, что приходит от ChatGPT, Bing Chat, Google Bard или любого другого чат-бота. Хотите верьте, хотите нет, но это особенно верно для математики. Не думайте, что ChatGPT умеет считать. Современные чат-боты с искусственным интеллектом лучше справляются с творческим письмом, чем со счетом и арифметикой.

Чат-боты — это не калькуляторы

Как всегда, при работе с ИИ важно оперативное проектирование. Вы хотите предоставить много информации и тщательно подготовить текстовое приглашение, чтобы получить хороший ответ.

Но даже если вы получите безупречную логику в ответ, вы можете щуриться в ее середине и понять, что ChatGPT допустил ошибку по линии 1+1=3. Тем не менее, ChatGPT также часто ошибается в логике — и он тоже не очень хорош в подсчете.

Просить большую языковую модель функционировать как калькулятор — все равно, что просить калькулятор написать пьесу — чего вы ожидали? Это не то, для чего это нужно.

Наш главный посыл здесь: очень важно дважды или трижды проверять работу ИИ. Это касается не только математики.

Вот несколько примеров того, как ChatGPT терпит крах. Для этой статьи мы использовали бесплатный ChatGPT на основе gpt-3.5-turbo, а также Bing Chat, основанный на GPT 4. Таким образом, хотя ChatGPT Plus с GPT 4 работает лучше, чем бесплатная версия ChatGPT, вы получите эти проблемы даже с первоклассным чат-ботом с искусственным интеллектом.

ChatGPT не может считать

ChatGPT и Bing не кажутся надежными для подсчета списков элементов. Это кажется простой задачей, но не полагайтесь на достоверный ответ.

Мы предоставили ChatGPT столбец чисел и попросили его подсчитать количество вхождений одного из чисел. (Вам не нужно считать самому: правильный ответ состоит в том, что число 100 встречается 14 раз.)

Даже когда вы исправляете ChatGPT, а он извиняется и предлагает новый ответ, вы не обязательно получите правильный ответ.

ChatGPT часто ведет себя как человек, отчаянно пытающийся скрыть ошибку и дать вам ответ — любой ответ — чтобы вы от него избавились. На самом деле очень жизненно!

Как обычно, одна из больших проблем заключается в том, насколько полностью ChatGPT уверен во всех своих ответах, даже когда он засыпает вас разными ответами.

Мы попробовали GPT 4 через чат Microsoft Bing Chat и столкнулись с аналогичной проблемой. Bing решил написать код на Python, чтобы решить эту сложную проблему, но также не смог получить правильный ответ. (Bing на самом деле не запускал код.)

ChatGPT борется с проблемами математической логики

Если вы зададите ChatGPT математическую «задачу со словами», вы часто увидите странные повороты логики, которые не приведут к правильному ответу.

Мы предоставили ChatGPT математическую задачу, основанную на фруктах, которая отражает то, что может спросить кто-то, кто пытается сбалансировать инвестиционный портфель, распределяя взносы между различными фондами — или, возможно, просто покупая много фруктов и придерживаясь фруктового портфеля для голодный инвестор.

ChatGPT запускается нормально, но быстро сходит с рельсов, превращаясь в логику, которая не имеет никакого смысла и не дает правильного ответа.

Вам не нужно следить за каждым поворотом, чтобы понять, что окончательный ответ неверен.

ChatGPT также часто копается и спорит с вами по поводу своих ответов. (Опять же, это очень похоже на человеческое поведение.)

В этом случае ChatGPT утверждал, что он не дал вам правильного ответа, но приблизил вас к желаемому соотношению, чем раньше! Это довольно забавно.

Для справки, Bing Chat от Microsoft, основанный на GPT 4, также боролся с этой проблемой, давая нам явно неверный ответ. Логика GPT 4 и здесь быстро выходит из строя.

Мы рекомендуем не пытаться уследить за каждым поворотом логики — ясно, что ответ неверен.

Когда мы указали, что ответ Bing неверен, он продолжал спорить с нами по кругу, предлагая неправильный ответ за неправильным ответом.

ChatGPT также не может надежно выполнять арифметические операции

Стоит отметить, что ChatGPT иногда слишком увлекается и неправильно формулирует элементарную арифметику. Мы видели логические ответы на задачи с неправильной арифметикой, похожие на 1+1=3 чмокнуть в середину хорошо аргументированного ответа.

Обязательно проверяйте, перепроверяйте и перепроверяйте все, что вы получаете от ChatGPT и других чат-ботов с искусственным интеллектом.