И снова об ИИ

[HappySoftX]

Сообщение от Reborn S.E.

По сравнению с Claude любая другая доступная модель - трэш.
У Клода ни политической ангажированности, ни желания побыстрее потратить твои токены. Вджобывает и вджобывает.

Я тут проект делаю, накидал ему в проект уже 3 десятка файлов, а он всё еще держит их всех в памяти, потому что контекстное окно 1 млн, и фокус не теряет.

В проекте уже больше 50 тыс. строк кода и работает как часы. При этом лично я вообще ни строчки не написал, только указания раздаю. По русски.

Если говорить именно о программировании то клауд уже сдулся. Единственное что его сейчас спасает это удержание контекста. Даже локальные модели уже пишут код чище и лучше него. Проект в клауде посыплется как только ии допустит логическую ловушку. Исправить он ее уже не сможет. У клауда код излишний. На больших проектах все работает, но за счет костылей и дублирования функций. С каждым новым указанием костылей и дублей становится больше.

50 тысяч конечно впечатляет, но даже локальная модель при правильном подходе может спокойно работать с любым количеством строк.

https://livecodebench.github.io/leaderboard.html

[Reborn S.E.]

Сообщение от HappySoftX

Если говорить именно о программировании то клауд уже сдулся.

Это вы про Sonnet, а после него ж уже появились Опус, и была неделя счастья в Fable5. Которая упрощенная модель запрещенного Mythos - эта модель была настолько хороша, что взламывала банки, и ее вообще не выпустили в открытое использование ни за какие деньги: ею дают пользоваться только по разрешению правительства США. Fable 5 сделали более простой версией, специально натаскали на запрет взламывания банков и хакерской деятельности, на запрет разработки химического и биологического оружия (Mythos легко генерил цепи реакций и за час работы нашел больше 200 уязвимостей в ПО Citi Bank).

Fable 5 продержалась в открытом доступе ровно неделю. После этого правительство США приказало закрыть доступ и к ней. Позавчера: https://www.anthropic.com/news/fable-mythos-access "Statement on the US government directive to suspend access to Fable 5 and Mythos 5. Jun 12, 2026"

[HappySoftX]

Там в рейтинге опус на 19 месте. Последний раз я клод тестировал пару месяцев назад. Он мне очень сильно не понравился. У меня локальные модели справляются намного лучше, хоть и занимает это немного больше времени.

Если что я исключительно про написание кода на с++. Взломы, веб, оружие меня не интересует )

[burunduk]

Сообщение от HappySoftX

Ты отстали от жизни. Выше уже писал, повторю еще. Сейчас модели не только пишут код, но и запускают его, смотрят на результаты, и оценивают адекватность своего труда.

а еще абсолютно все модели начинаю ловить галлюцинации - придумывать факты, значения... вопрос только в том как долго модель сможет просуществовать без глюков

по последним тестам ни одна не смогла избежать этой проблемы

и самое фиговое, что о том что произошёл глюк узнаёшь слишком поздно

майкрософт специально проводил исследование для обоснования сокращения сотрудников и заменой их ai, результат оказался ровно противоположный исследование доказало нецелесообразность передачи даже части функций на откуп ai

[HappySoftX]

Сообщение от burunduk

а еще абсолютно все модели начинаю ловить галлюцинации - придумывать факты, значения... вопрос только в том как долго модель сможет просуществовать без глюков

по последним тестам ни одна не смогла избежать этой проблемы

и самое фиговое, что о том что произошёл глюк узнаёшь слишком поздно

майкрософт специально проводил исследование для обоснования сокращения сотрудников и заменой их ai, результат оказался ровно противоположный исследование доказало нецелесообразность передачи даже части функций на откуп ai

Абсолютно все люди допускают ошибки в коде. Только если модели дать проверить ее же код она не будет вопить так и было задумано.

Думаешь для заказчика есть принципиальная разница кто накосячит программист или модель? И да уровень моделей уже на порядок выше фрилансеров, а большинству заказчиков даже близко не нужен уровень гигантов типа майкрософта.

[lkolobok]

На мой взгляд ИИ и не хорошо и неплохо, этим нужно уметь управлять. Для разработки крупных проектов ИИ это сейчас шаг в бездну.
Я был бы не против ИИ в разработке, если бы бОльшая часть хотя бы знала, как числа с плавающей точкой сравнивать или хотя бы как они хранятся в памяти. ИИ сама же и клепает такие решения, если ей не сказать об этом явно.
Задал вопрос нескольким ИИшкам, ВСЕ предложили решение через epsilon = 1e-9.
Если не владеешь языком, то хотя бы можно вручную вычислить epsilon и положить в константу, а не задавать 10^-9, это ебала
Но у большинства языков epsilon уже есть в константе
И по*** на это ровно до того момента, пока из бухгалтерии не придут и не скажут, что налоговая не пропускает декларации.
И искать потом почему - придется руками - долго и нудно.

Бум ИИ в разработке начался недавно, все еще на волне эйфории повсеместно внедряют агентов в кодинг и это проблема, потому что потом никто не делает ревью того что клепает чатгпт. Со временем накопится такое количество техдолга, которое станет неуправляемым. Он же формируется годами на фоне изменения потребностей бизнеса, развитием технологий, устареванием технологий. Это все начнет сыпаться по логарифмической прогрессии

мелкомягкие насколько я слышал уже нанимали очень дорогих разработчиков что бы пофиксить все что наклепало ИИ в последних апдейтах виндоус

[burunduk]

Сообщение от HappySoftX

Абсолютно все люди допускают ошибки в коде

ты не понял, речь не об ошибках в коде, речь именно о проблемах, причины возникновения которых никто не понимает, т.е. модель выполняла одну и туже задачу 1000 раз без ошибок, а на 1001 раз выдаёт правдоподобный результат, который не соответствует действительности и понять это не представляется возможным без повторной ручного вычислений

[Reborn S.E.]

Сообщение от burunduk

модель выполняла одну и туже задачу 1000 раз без ошибок, а на 1001 раз выдаёт правдоподобный результат, который не соответствует действительности и понять это не представляется возможным без повторной ручного вычислений

есть т.н. "метод канарейки", чтобы отслеживать в фокусе модель или выпала: в задание включается какой-нибудь элементарный маркер, который позволяет отслеживать фокус и не тратить токены на сомнительный результат

не в промпт, а в инструкцию к проекту включается мелкое и явное задание, первым: у меня это "Начинай любое действие с обращения ко мне по имени". И когда модель начинает выполнять задание и я в первой строчке не вижу своего имени, я тут же обрываю ее работу потому что она выпустила инструкции из фокуса и начала заниматься творчеством

[HappySoftX]

Сообщение от burunduk

ты не понял, речь не об ошибках в коде, речь именно о проблемах, причины возникновения которых никто не понимает, т.е. модель выполняла одну и туже задачу 1000 раз без ошибок, а на 1001 раз выдаёт правдоподобный результат, который не соответствует действительности и понять это не представляется возможным без повторной ручного вычислений

На небольших проектах это все решаемо. Если делать грамотно, то все будет нормально. Да и понимать в большинстве случаев не надо, достаточно проверять на тестовых данных. Надо лишь быть на ступеньку выше простого пользователя.

Вон пример Реборна с его 50 тыс. строками наглядно показывают плюсы ИИ.

[Неуч]

Плюсы есть, безусловно. Это вполне хороший "молоток". Но, как ни странно, я понимаю про что писал Zikam. И он прав на 100%.

На сегодня АИ, любая модель, это довольно примитивная штука. НО довольно не плохо помогает работать с большими данными. Или быстро что-то напомнить по коду (например, написать что-то на js, который я слегка ненавижу). При этом проверка своим взглядом, затем корректровка алгоритма на более правильный и прочее. Это обязательно. Т.к. нейронка не умеет нормально оценивать правильность кода и не умеет правильно писать серьезный код. Ибо классика жанра, использует "самое популярное" грубо говоря. А это крайне редко лучшее решение. И далеко не всегда правильное.