#diffusers — Public Fediverse posts

Дообучаем FLUX.2 [klein] за час на одной видеокарте: LoRA, Diffusers и Gradio без лишней боли

FLUX.2 [klein] достаточно компактна, чтобы дообучать её на одной потребительской видеокарте. Прогон обучения LoRA для 4B-модели укладывается в 24 ГБ VRAM, занимает около часа на RTX 4090 и стоит примерно $0.50, если арендовать GPU. В этом гайде пройдём весь цикл: соберём датасет, настроим тренер, запустим обучение, загрузим результат в diffusers и завернём всё в Gradio-приложение, которое можно выложить как Hugging Face Space. К концу у вас будет LoRA в формате .safetensors , которая научит klein конкретному стилю, персонажу, визуальному образу или поведению при редактировании. А ещё — несколько важных нюансов, от которых зависит, получится ли результат пригодным или превратится в кашу. Собрать свою LoRA

https://habr.com/ru/companies/otus/articles/1044348/

#FLUX2 #lora #дообучение_моделей #генерация_изображений #генеративный_ИИ #diffusers #подготовка_датасета #редактирование_изображений

Как меняется ландшафт Земли сквозь призму генеративных моделей

Повоевав в рамках учебного курса с генеративными моделями машинного обучения, хочу поделиться вариантом решения одной интересной задачи. Различные геосервисы позволяют получить спутниковые снимки поверхности земли в одной и той же точке в разные месяцы и годы. По ним можно проследить характер изменений: пустыри зарастают, водоемы заболачиваются, люди покидают одни места и осваиваются в других. Но можно ли понять по снимку, как изменится местность в будущем? Есть ли в спутниковых изображениях контекст, который способна извлечь модель для предсказания этих изменений — об этом статье.

https://habr.com/ru/articles/849548/

#computer_vision #machine_learning #pytorch #swin #esrgan #diffusers

Как работает генерация видео в open source проекте Wunjo CE

Генерация видео теперь open source? Наконец-то я нашёл время, чтобы добавить генерацию видео из текста и изображений в свой open source проект Wunjo CE . В этой статье мы рассмотрим, как это работает, сравним его с похожими решениями, изучим основы подхода и его альтернативы. Смотрим

https://habr.com/ru/articles/828752/

#wunjo #video_generation #ai #animation #opensource #opensource_software #обзор_софта #генерация_видео #diffusers #stable_diffusion

«Midjourney на коленке, но теперь с S3». Как хранить генерации с промптами в объектном хранилище

Привет, Хабр! Построить конвейерную ленту по генерации изображений не так сложно — мы доказали это в обзоре . Но как сохранить результаты? Ведь если вы захотите пересоздать виртуальную машину с нейронкой, на которой хранятся файлы, то окончательно их потеряете. Под катом рассказываем, как подключить ее

https://habr.com/ru/companies/selectel/articles/823916/

#selectel #python #машинное_обучение #jupiter #stable_diffusion #diffusers #hugging_face

Could an #LLM with the same encoder/token scheme as a #diffusers image model be used to increase the diffuser model's understanding of concepts? The LLM is going to have greater understanding as a whole than the limited connections that the diffuser is going to pick up on if trained only from captions.

#ai #gpt #stablediffusion

Dog owners warned over 'toxic' diffusers after pet was left seriously ill
https://www.msn.com/en-gb/health/familyhealth/dog-owners-warned-over-toxic-diffusers-after-pet-was-left-seriously-ill/ar-BB1iaPNS?cvid=99c5064abb574ccdf1c29cdedfd6a51e&ocid=winp2fptaskbarhover&ei=6

#Dogs
#Diffuser
#Diffusers
#Safety

Dear opensource developers, if you build ML libraries on top of other ML libraries, please expose the underlying APIs for:
- loading custom model weights
- saving model weights
- saving pipelines
- exporting safetensors

This way, you support your users in working with local models, instead of making them extra dependent on external model hosting parties like Google and HuggingFace.

#ml #mlops #ai #generativeai #huggingface #transformers #diffusers #opensource

It's really hard to get #AnimateDiff to, first, run locally on a Mac (especially with low VRAM) and, second, to actually animate. But when it does, it's magical.

#StableDiffusion #AIArt #Animation #AIAnimation #MacOS #Diffusers

PyTorch 2.0 has waaay better MacOS support than before. So much so that I'm able to run Diffusers on my Intel Mac with little to no problems!

#AIArt #PyTorch #Diffusers

I got Diffusers to work today on my Stable Diffusion implementation...which means I generated a lot of astronauts riding horses.

Here they are!

#AIArt #StableDiffusion #Diffusers

@b0rk the tech. is not perfect yet, but you could try experimenting with using #stablediffusion Image to Image models.

Here's a notebook (run on Colab) from an ongoing #fastai course, if scroll down to the Image to Image section, there's an example of a doodle -> wolf under moonlit sky image generation.

And if you're curious, the community forums are a very welcome place. And @pcuenq could probably answer questions on the #diffusers library innerworkings.

https://github.com/fastai/diffusion-nbs/blob/master/stable_diffusion.ipynb

I created a Jupyter Notebook which summarizes PDF papers from arXiv.org — the summaries are not quite there, but it's a start and maybe somebody else can improve upon it?

That notebook is in this GitHub repo:
https://github.com/FahimF/fai-exp

Direct link to notebook:
https://github.com/FahimF/fai-exp/blob/main/article_summarizer.ipynb

Will work with other PDF files too (with some changes) but the current code is set up specifically for arXiv.org …

#DeepLearning #diffusers #AI