#eval — Public Fediverse posts

Agent-skills-eval – Test whether Agent Skills improve outputs

https://github.com/darkrishabh/agent-skills-eval

#HackerNews #AgentSkills #Eval #Testing #Skills #Outputs #AIResearch #MachineLearning

Сделаем Python безопасным… снова

Все мы любим Python за то, что он дает нам свободу: динамическую типизацию, кроссплатформенность, огромное количество библиотек и многое другое. Но зачастую эта свобода становится кошмаром для security‑инженеров и архитекторов, когда речь заходит о высоконагруженных системах с серьезными требованиями к безопасности. В этой статье мы поговорим о том, как перехватить выполнение Python‑кода, запретить опасные вызовы и построить систему контрактов без изменения исходников.

https://habr.com/ru/companies/otus/articles/1029676/

#Python #безопасность_Python #audit_hook #syssettrace #AST #байткод #статический_анализ #песочница #eval #runtimeконтроль

Сделаем Python безопасным… снова

Все мы любим Python за то, что он дает нам свободу: динамическую типизацию, кроссплатформенность, огромное количество библиотек и многое другое. Но зачастую эта свобода становится кошмаром для security‑инженеров и архитекторов, когда речь заходит о высоконагруженных системах с серьезными требованиями к безопасности. В этой статье мы поговорим о том, как перехватить выполнение Python‑кода, запретить опасные вызовы и построить систему контрактов без изменения исходников.

https://habr.com/ru/companies/otus/articles/1029676/

#Python #безопасность_Python #audit_hook #syssettrace #AST #байткод #статический_анализ #песочница #eval #runtimeконтроль

Сделаем Python безопасным… снова

Все мы любим Python за то, что он дает нам свободу: динамическую типизацию, кроссплатформенность, огромное количество библиотек и многое другое. Но зачастую эта свобода становится кошмаром для security‑инженеров и архитекторов, когда речь заходит о высоконагруженных системах с серьезными требованиями к безопасности. В этой статье мы поговорим о том, как перехватить выполнение Python‑кода, запретить опасные вызовы и построить систему контрактов без изменения исходников.

https://habr.com/ru/companies/otus/articles/1029676/

#Python #безопасность_Python #audit_hook #syssettrace #AST #байткод #статический_анализ #песочница #eval #runtimeконтроль

Сделаем Python безопасным… снова

Все мы любим Python за то, что он дает нам свободу: динамическую типизацию, кроссплатформенность, огромное количество библиотек и многое другое. Но зачастую эта свобода становится кошмаром для security‑инженеров и архитекторов, когда речь заходит о высоконагруженных системах с серьезными требованиями к безопасности. В этой статье мы поговорим о том, как перехватить выполнение Python‑кода, запретить опасные вызовы и построить систему контрактов без изменения исходников.

https://habr.com/ru/companies/otus/articles/1029676/

#Python #безопасность_Python #audit_hook #syssettrace #AST #байткод #статический_анализ #песочница #eval #runtimeконтроль

Почему AI-агенты сбоят и как сделать, чтобы они перестали

Привет, хочу поговорить об AI-агентах. Но не об их преимуществах: все и так уже знают, как они ускоряют разработку и освобождают команду от рутины. Здесь я хочу обсудить риски и новые варианты сбоев, которые появляются вместе с внедрением агентов. В реальности даже один AI-агент способен уронить проект быстрее, чем человеческая ошибка. Галлюцинации, удаление нужных данных, иллюзия компетентности — это лишь часть проблем. Когда агентов несколько и они зависят друг от друга, риск сбоев возрастает. Попробую разобраться, от чего зависят типичные проблемы, и расскажу, как я с ними справляюсь.

https://habr.com/ru/companies/cloud_ru/articles/1008714/

#aiagent #мультиагентные_системы #eval #adk #автономность

Почему AI-агенты сбоят и как сделать, чтобы они перестали

Привет, хочу поговорить об AI-агентах. Но не об их преимуществах: все и так уже знают, как они ускоряют разработку и освобождают команду от рутины. Здесь я хочу обсудить риски и новые варианты сбоев, которые появляются вместе с внедрением агентов. В реальности даже один AI-агент способен уронить проект быстрее, чем человеческая ошибка. Галлюцинации, удаление нужных данных, иллюзия компетентности — это лишь часть проблем. Когда агентов несколько и они зависят друг от друга, риск сбоев возрастает. Попробую разобраться, от чего зависят типичные проблемы, и расскажу, как я с ними справляюсь.

https://habr.com/ru/companies/cloud_ru/articles/1008714/

#aiagent #мультиагентные_системы #eval #adk #автономность

Почему AI-агенты сбоят и как сделать, чтобы они перестали

Привет, хочу поговорить об AI-агентах. Но не об их преимуществах: все и так уже знают, как они ускоряют разработку и освобождают команду от рутины. Здесь я хочу обсудить риски и новые варианты сбоев, которые появляются вместе с внедрением агентов. В реальности даже один AI-агент способен уронить проект быстрее, чем человеческая ошибка. Галлюцинации, удаление нужных данных, иллюзия компетентности — это лишь часть проблем. Когда агентов несколько и они зависят друг от друга, риск сбоев возрастает. Попробую разобраться, от чего зависят типичные проблемы, и расскажу, как я с ними справляюсь.

https://habr.com/ru/companies/cloud_ru/articles/1008714/

#aiagent #мультиагентные_системы #eval #adk #автономность

Почему AI-агенты сбоят и как сделать, чтобы они перестали

Привет, хочу поговорить об AI-агентах. Но не об их преимуществах: все и так уже знают, как они ускоряют разработку и освобождают команду от рутины. Здесь я хочу обсудить риски и новые варианты сбоев, которые появляются вместе с внедрением агентов. В реальности даже один AI-агент способен уронить проект быстрее, чем человеческая ошибка. Галлюцинации, удаление нужных данных, иллюзия компетентности — это лишь часть проблем. Когда агентов несколько и они зависят друг от друга, риск сбоев возрастает. Попробую разобраться, от чего зависят типичные проблемы, и расскажу, как я с ними справляюсь.

https://habr.com/ru/companies/cloud_ru/articles/1008714/

#aiagent #мультиагентные_системы #eval #adk #автономность

Hello from typst!
#let code = ```typ
#import "@preview/ansi-render:0.8.0": *
#ansi-render(read("tmp.txt"), font: "Juisee HWNF")

Hmmm seems like Typst doesn't have lazy evaluation but it does have #eval() which might work for this...

#eval #check #synth #guard #guard_expr #exit #print #[ #v[ #reduce #check_tactic #check_tactic_failure #check_simp #discr_tree_key #discr_tree_simp_key #widget

(All the #commands in Lean that I could find by running rg '^syntax .* "#')

#eval #check #synth #guard #guard_expr #exit #print #[ #v[ #reduce #check_tactic #check_tactic_failure #check_simp #discr_tree_key #discr_tree_simp_key #widget

(All the #commands in Lean that I could find by running rg '^syntax .* "#')

#eval #check #synth #guard #guard_expr #exit #print #[ #v[ #reduce #check_tactic #check_tactic_failure #check_simp #discr_tree_key #discr_tree_simp_key #widget

(All the #commands in Lean that I could find by running rg '^syntax .* "#')

#eval #check #synth #guard #guard_expr #exit #print #[ #v[ #reduce #check_tactic #check_tactic_failure #check_simp #discr_tree_key #discr_tree_simp_key #widget

(All the #commands in Lean that I could find by running rg '^syntax .* "#')

20년 개발 경험이 독이 되는 순간: AI 에이전트 엔지니어링의 5가지 함정

https://aisparkup.com/posts/7049

20년 개발 경험이 독이 되는 순간: AI 에이전트 엔지니어링의 5가지 함정

https://aisparkup.com/posts/7049

20년 개발 경험이 독이 되는 순간: AI 에이전트 엔지니어링의 5가지 함정

https://aisparkup.com/posts/7049

20년 개발 경험이 독이 되는 순간: AI 에이전트 엔지니어링의 5가지 함정

https://aisparkup.com/posts/7049

20년 개발 경험이 독이 되는 순간: AI 에이전트 엔지니어링의 5가지 함정

https://aisparkup.com/posts/7049

[Перевод] Парадокс безопасности локальных LLM

Команда AI for Devs подготовила перевод исследования о парадоксе безопасности локальных LLM. Если вы запускаете модели на своём сервере ради приватности, эту статью стоит прочитать. Эксперименты показывают: локальные модели вроде gpt-oss-20b куда легче обмануть, чем облачные аналоги. Они чаще вставляют вредоносный код, не замечая подвоха, и превращаются в идеальную цель для атак.

https://habr.com/ru/articles/960132/

#LLM #безопасность #локальные_модели #атаки #бекдор #eval #exec #RedTeaming #приватность #разработка

[Перевод] Парадокс безопасности локальных LLM

Команда AI for Devs подготовила перевод исследования о парадоксе безопасности локальных LLM. Если вы запускаете модели на своём сервере ради приватности, эту статью стоит прочитать. Эксперименты показывают: локальные модели вроде gpt-oss-20b куда легче обмануть, чем облачные аналоги. Они чаще вставляют вредоносный код, не замечая подвоха, и превращаются в идеальную цель для атак.

https://habr.com/ru/articles/960132/

#LLM #безопасность #локальные_модели #атаки #бекдор #eval #exec #RedTeaming #приватность #разработка

[Перевод] Парадокс безопасности локальных LLM

Команда AI for Devs подготовила перевод исследования о парадоксе безопасности локальных LLM. Если вы запускаете модели на своём сервере ради приватности, эту статью стоит прочитать. Эксперименты показывают: локальные модели вроде gpt-oss-20b куда легче обмануть, чем облачные аналоги. Они чаще вставляют вредоносный код, не замечая подвоха, и превращаются в идеальную цель для атак.

https://habr.com/ru/articles/960132/

#LLM #безопасность #локальные_модели #атаки #бекдор #eval #exec #RedTeaming #приватность #разработка

[Перевод] Парадокс безопасности локальных LLM

Команда AI for Devs подготовила перевод исследования о парадоксе безопасности локальных LLM. Если вы запускаете модели на своём сервере ради приватности, эту статью стоит прочитать. Эксперименты показывают: локальные модели вроде gpt-oss-20b куда легче обмануть, чем облачные аналоги. Они чаще вставляют вредоносный код, не замечая подвоха, и превращаются в идеальную цель для атак.

https://habr.com/ru/articles/960132/

#LLM #безопасность #локальные_модели #атаки #бекдор #eval #exec #RedTeaming #приватность #разработка

@asvhl Leaving my Lean code littered with hashtags like someone desperate for clout #eval #print #check #v[] #guard_msgs #exit

Reveal – Read Eval Visualize Loop for Clojure

https://vlaaad.github.io/reveal/

#HackerNews #Reveal #Read #Eval #Visualize #Loop #Clojure #Programming

Reveal – Read Eval Visualize Loop for Clojure

https://vlaaad.github.io/reveal/

#HackerNews #Reveal #Read #Eval #Visualize #Loop #Clojure #Programming

Reveal – Read Eval Visualize Loop for Clojure

https://vlaaad.github.io/reveal/

#HackerNews #Reveal #Read #Eval #Visualize #Loop #Clojure #Programming

Reveal – Read Eval Visualize Loop for Clojure

https://vlaaad.github.io/reveal/

#HackerNews #Reveal #Read #Eval #Visualize #Loop #Clojure #Programming

Reveal – Read Eval Visualize Loop for Clojure

https://vlaaad.github.io/reveal/

#HackerNews #Reveal #Read #Eval #Visualize #Loop #Clojure #Programming

Have you noticed him?

#haskell #rust #eval #apply #monads #ikamusume

Have you noticed him?

#haskell #rust #eval #apply #monads #ikamusume

Have you noticed him?

#haskell #rust #eval #apply #monads #ikamusume

🔍 Online-Workshop: Praxisnahe Evaluation von #Wissenschaftskommunikation! Teilnehmende entwickelten in unserem Workshop Evaluationspläne für Projekte-von Exzellenzclustern bis hin zu Formaten für Schüler:innen. Der Fokus lag dabei auf Ziel, Methode & Umsetzung. Danke für den inspirierenden Austausch! 🙌💡 #Wisskomm #Eval

Baba Is Eval

https://fi-le.net/baba/

#HackerNews #Baba #Is #Eval #programming #gaming #HackerNews #creative #coding

[Перевод] Хочешь умного агента? Научись оценивать его правильно

В середине 2024 года AI-агенты стали главной темой обсуждений в технологическом сообществе — с помощью них теперь выполняют множество задач от заказа ингредиентов для ужина до бронирования билетов и записи на прием к врачу. Затем появились вертикальные AI-агенты — узкоспециализированные системы, о которых заговорили как о потенциальной замене привычных SaaS-решений. Но по мере роста влияния агентов увеличиваются и риски, связанные с их преждевременным внедрением. Недостаточно протестированный AI-агент может стать источником множества проблем: от неточных предсказаний и скрытых байасов до плохой адаптивности и уязвимостей в безопасности. Такие ошибки дезориентируют пользователей и подрывают доверие к системе, нарушая принципы fairness и транспарентности. Если вы разрабатываете AI-агента, наличие чёткой стратегии безопасного деплоймента критически важно. В этой статье мы рассмотрим, почему тщательная валидация необходима, разберём пошаговые подходы к тестированию и методы проведения комплексной оценки AI-агентов для обеспечения их надёжного развертывания.

https://habr.com/ru/articles/902608/

#ai_agent #ai_agents #ai_агенты #ии_агент #ai #ии #llm #eval

[Перевод] Оцени, прежде чем доверять: как сделать AI-агента полезным

Часто недооцененным аспектом разработки AI-агентов остаётся этап оценки. Хотя создать proof of concept относительно просто, поиск оптимальной конфигурации для балансировки стоимости, скорости, релевантности и других параметров требует значительных временных затрат. Инструменты и фреймворки для оценки являются ключевыми элементами этой стадии оптимизации.

https://habr.com/ru/articles/902594/

#ai_agent #ai_агенты #ai #ии #llm #rag #eval #genai

🎩 BREAKING NEWS: #JavaScript is weird! 🧙‍♂️ Who would've thought? 🤔 An article reveals the shocking truth that #eval is a #nightmare, #loops are #sneaky, and #ASI is quirkier than your uncle's dance moves at a wedding. 😱 But hey, don't worry, just slap a #linter on it and pretend everything's fine. 🙄
https://stack-auth.com/blog/on-javascripts-weirdness #Weirdness #Quirks #Solutions #HackerNews #ngated

XML Odoo Eval tutorial explains how to fix common XML errors, correctly set eval attributes, and add image fields in Odoo modules. Read more for detailed code examples and best practices. Tags: #Odoo #XML #Eval #Tutorial

https://teguhteja.id/xml-odoo-eval-correct-errors-add-images/

My evals.fun web app is really starting to become usable for graphing #LLM #eval results! I’m using it in a client project to embed graphs in GitHub PRs. Try it out, one project is free forever! https://www.evals.fun

I think that I would not go back to using a language where I can't just type

#eval my-thing

in the middle of a document. This is so much better than a REPL it is not even funny. Don't talk to me about REPLs...

It is so unnecessarily complicated to figure out how to actually run some code in languages like OCaml or Haskell, and then (in OCaml) you realise "Oh god, I also need to write a pretty printer for everything" when you are just trying to explore and figure out what something does. The fact that you can use a ppx doesn't really help, because you still have to figure out the *name* of the pretty printer you are trying to call...

It is nice to have dependent types **and** a good notebook environment (with #eval/#reduce) to help me get this kind of code right...

Quite a good list of LLM evaluation metrics (with papers!) by Parea AI: https://docs.parea.ai/blog/eval-metrics-for-llm-apps-in-prod

#llms #rag #evaluation #eval #metrics #faithfulness #relevance #informationretrieval

@brendan I mean, `#eval` can execute arbitrary I/O, so if you are carelessly testing your functions with it and there is some I/O somewhere in the chain of functions, who knows what can be overwritten.

I once accidentally dumped about 20 GB of noise from /dev/urandom into a temp file because of an #eval. If you have IO functions that do file deletion for cleanup, you better make sure you don't pass those to an #eval by mistake.

Unlike code you are ready to compile and execute, you can always butterfingers an eval parameter!

@brendan `#eval` is also a great way to delete System32 😅

@jonmsterling @chrisamaphone Yeah, in the past I’ve found that just doing `#eval` in the source file is a great way to interactively explore stuff. And unlike a linear repl you can update previous definitions and those changes will flow through.

Компиляция математического выражение из строки динамически во время выполнения в C# (.NET)

В этой статье я продемонстрирую, как динамически компилировать математические выражения из строк в runtime в C#, исключительно просто и быстро. Это решение поддерживает различные математические контексты, включая логические выражения, научные вычисления и C#, а также позволяет расширять эти контексты пользовательскими переменными, операторами и функциями.

https://habr.com/ru/articles/842046/

#математика #net #net_core #c# #c#net #algorithms #eval #math #mathematics #компиляция

Вычисление логического выражения из строки в C# (.NET)

В этой статье я продемонстрирую, как динамически вычислять логические математические выражения из строк в C#, с высокой производительностью. Решение, реализованное с использованием библиотеки .NET MathEvaluator, поддерживает логические операции в различных математических контекстах, включая программирование, научные вычисления и C#. Кроме того, библиотека позволяет расширять эти контексты, а также добавлять пользовательские переменные и функции.

https://habr.com/ru/articles/837380/

#математика #net #net_core #c# #c#net #algorithms #eval #math #mathematics #evaluator

Вычисление любого математического выражения на C# (.NET)

Для улучшения возможностей научных вычислений на C# я реализовал evaluator, способный вычислять любое математическое строковое выражение с исключительной производительностью. Он также поддерживает пользовательские переменные и функции. Библиотека .NET под названием MathEvaluator и её документация доступны на GitHub . Для достижения высокой производительности при вычислении математических выражений используется сочетание современных возможностей .NET и эффективных алгоритмов.

https://habr.com/ru/articles/833074/

#математика #net #net_core #c# #c#net #algorithms #eval #math #mathematics #evaluator

There is now a hardcover edition of LISP from Nothing, because some people asked. See http://t3x.org/lfn/
Nothing new inside, just a hardcover version of the same book about minimal LISP and LISP in the age of mainframe computers.
#LISP, #eval, #MACLISP, #mainframes, #punchcards, #teletypes, #retrocomputing