Search
1000 results for “dataplane”
-
#MachineLearning #DataAnalytics #DataPlatform How to Build a General-Purpose AI Agent in 131 Lines of Python https://www.oreilly.com/radar/how-to-build-a-general-purpose-ai-agent-in-131-lines-of-python/?utm_source=dlvr.it&utm_medium=mastodon
-
#AI #ML #AIAgents How AI Really Thinks — and Why It Hallucinates https://thinkcast.libsyn.com/understanding-ai-hallucinations-inside-the-machine-mind?utm_source=dlvr.it&utm_medium=mastodon #ArtificialIntelligence #MachineLearning #DataPlatform
-
Mroczna strona sztucznej inteligencji. Jak firmy z Doliny Krzemowej eksploatują pracowników w Afryce
Kiedy zachwycamy się kolejnymi możliwościami asystentów AI i bezbłędnym działaniem algorytmów, rzadko zastanawiamy się nad tym, kto nauczył je rozróżniać dobro od zła, a twarz od przedmiotu. Warto poznać dość ponure tło technologicznego boomu, którego jesteśmy świadkami.
Najnowszy reportaż serwisu 404 Media ujawnia brutalną prawdę o potężnych firmach technologicznych: inteligencja, którą nazywamy „sztuczną”, w dużej mierze opiera się na wyzysku taniej, ludzkiej siły roboczej w Afryce.
Michael Geoffrey Asia każdego dnia spędzał przed laptopem w Kenii osiem bitych godzin, oglądając pornografię. Nie robił tego dla przyjemności. Klatka po klatce opisywał i tagował to, co widzi na ekranie, dla firmy zajmującej się „etykietowaniem danych” (data labeling) na potrzeby AI. Kiedy kończył swoją pierwszą zmianę, płynnie przechodził do drugiej pracy. Stawał się ludzkim „silnikiem” dla botów erotycznych, na żywo prowadząc erotyczne pogawędki z samotnymi ludźmi, najprawdopodobniej ze Stanów Zjednoczonych. Jego jedynym szefem był algorytm, który dyktował mu, w jaką postać ma się w danej chwili wcielić.
„Wymagało to ogromnej kreatywności i szybkiego myślenia. Jeśli rozmawiałem z mężczyzną, miałem zachowywać się jak kobieta. Jeśli z kobietą, musiałem być mężczyzną. Jeśli pisała osoba homoseksualna, ja również musiałem się tak zachowywać” – relacjonuje Asia dziennikarzowi 404 Media, Jasonowi Koeblerowi.
Cyfrowe niewolnictwo za centy
Skutki tak ekstremalnego obciążenia psychicznego nie są trywialne. Asia, podobnie jak wielu innych afrykańskich „etykietowaczy” danych, dorobił się potężnej bezsenności, problemów w pożyciu małżeńskim, a ostatecznie zdiagnozowano u niego zespół stresu pourazowego (PTSD). Niektórzy z jego współpracowników spędzali przed monitorami nawet po 18 godzin na dobę, próbując zarobić na utrzymanie. Stawki? Często ułamek centa za wykonane zadanie.
Dzisiaj Michael Geoffrey Asia nie pracuje już dla gigantów AI. Został sekretarzem generalnym kenijskiej organizacji o nazwie Data Labelers Association (DLA). DLA zrzesza obecnie setki pracowników i walczy o podstawowe prawa pracownicze: godne wynagrodzenie, dostęp do opieki psychiatrycznej oraz zniesienie drakońskich umów o poufności (NDA), które mają uciszyć tych, którzy psychicznie nie wytrzymują obciążenia.
Widma w maszynie
Pracownicy tacy jak ci zrzeszeni w DLA to tak zwane „duchy” w maszynie – niewidzialna, ignorowana siła robocza. To oni trenują, udoskonalają i moderują narzędzia AI tworzone przez największe korporacje świata. Zmuszani są do wielogodzinnego wpatrywania się w najgorsze odmęty internetu (przemoc, pornografia, drastyczne wypadki), aby algorytmy wielkich firm wiedziały, czego nie wolno im pokazywać zachodnim użytkownikom. To ich praca pompuje wyceny spółek z Doliny Krzemowej do bilionów dolarów, choć sami zarabiają zaledwie kilka dolarów dziennie.
„Nigdy nie byłoby AI bez ludzi. To nie jest sztuczna inteligencja. To inteligencja afrykańska” – gorzko podsumowuje Asia. „Większość z tych brudnych prac wykonano tutaj, w Afryce. A kiedy narzędzie staje się w pełni funkcjonalne, kontakt się urywa. Zostajemy odcięci. My trenujemy własną śmierć. Trenujemy algorytmy, które powoli nas zabijają”.
Prawnicy wspierający DLA zwracają uwagę na jeszcze jeden, mroczny aspekt całej sytuacji. Wielkie korporacje technologiczne próbują wywierać naciski polityczne na państwa afrykańskie, dążąc do uzyskania całkowitego immunitetu i ochrony prawnej w zamian za obietnice inwestycji i umów handlowych.
Wizerunek AI jako magicznego, lśniącego algorytmu stworzonego przez genialnych inżynierów w San Francisco to tylko starannie wyreżyserowana iluzja. Prawda jest znacznie bardziej brutalna: pod spodem kryje się stara jak świat historia wyzysku, w której najbogatsi bogacą się kosztem zdrowia i życia tych najbiedniejszych.
#DataLabelersAssociation #dataLabelingKenia #ludzkiKosztSztucznejInteligencji #moderacjaTreściSztucznaInteligencja #mrocznaStronaAI #pracownicyAIWAfryce #PTSDUModeratorówTreści #trenowanieModeliAI #wyzyskWITYann LeCun zbiera miliard dolarów na sztuczną inteligencję, która rozumie fizykę
-
Инфраструктура для Data-Engineer Data Lake Apache Iceberg
В этой статье вы узнаете что такое Apache Iceberg, как его можно использовать и для чего он вообще нужен. В статье также рассматривается вопрос Data Lake.
https://habr.com/ru/articles/850674/
#data #data_lake #data_engineering #data_engineer #apache_spark #apache_iceberg #sql #дата_лейк #озеро_данных #datalakehouse
-
Dataland, the world’s first AI art museum, will open in 2025 at Frank Gehry’s The Grand LA in downtown Los Angeles. The museum, led by Refik Anadol Studio, will showcase immersive AI-driven art. @refikanadol
-
Dataland, the world’s first AI art museum, will open in 2025 at Frank Gehry’s The Grand LA in downtown Los Angeles. The museum, led by Refik Anadol Studio, will showcase immersive AI-driven art. @refikanadol
-
Dataland, the world’s first AI art museum, will open in 2025 at Frank Gehry’s The Grand LA in downtown Los Angeles. The museum, led by Refik Anadol Studio, will showcase immersive AI-driven art. @refikanadol
-
Dataland, the world’s first AI art museum, will open in 2025 at Frank Gehry’s The Grand LA in downtown Los Angeles. The museum, led by Refik Anadol Studio, will showcase immersive AI-driven art. @refikanadol
-
Are you looking for an opportunity to test your new amazing lightning talk?
Let me help you, click this link!
https://sessionize.com/data-platform-meetup-groningen-lightnin/
-
Больше чем просто данные в S3. Iceberg как основа архитектуры Next-Gen КХД
Традиционные форматы хранения данных постепенно перестают удовлетворять требованиям современных распределенных вычислений и аналитики больших данных. Каскадные обновления метаданных, проблемы консистентности и высокая стоимость поддержки вынуждают искать альтернативы. Ответом на запросы стало появление формата Iceberg, который предложил новую парадигму организации структурированных данных, позволяющую эффективно управлять петабайтами информации даже в распределенных средах. Привет, Хабр. Меня зовут Алексей Белозерский. Я руководитель профессионального сервиса VK Data Platform , VK Tech. В этой статье я расскажу, что стало предпосылкой появления нового формата данных и что скрывает Iceberg «под толщей воды».
https://habr.com/ru/companies/vktech/articles/959398/
#iceberg #s3 #nextgen #lakehouse #data #bigdata #vk_tech #vk_cloud #vk_data_platform #datalakehouse
-
Что такое dataLayer на самом деле: от аналитиков — разработчикам
Если спросить разработчика, что такое dataLayer, чаще всего ответ будет примерно такой: «Ну это что-то из GTM». Я понимаю, что вот вы, конкретно вы, уважаемый читатель, так не отвечаете, и никто так не отвечает, но у меня вот такая статистика. А если спросить аналитика, что нужно для настройки событий, ответ будет: «Нужно просто пушнуть это в dataLayer» Здесь начинается легкое раздражение с обеих сторон. Разработчику кажется, что это часть Google Tag Manager, которую он не обязан понимать. Аналитику кажется, что это очевидная вещь уровня «объявить переменную». В итоге dataLayer превращается в некий черный ящик, за который отвечает «кто-то другой». Спойлер: никто. Главная мысль этой статьи простая: dataLayer — это просто глобальная переменная в window. Все остальное — это уже работа разработчика по задачам аналитика и последующий тюнинг аналитиком в тег-менеджере.
https://habr.com/ru/articles/1010398/
#datalayer #gtm #google_tag_manager #яндекс_тег_менеджер #matomo_tag_manager #js
-
The time I used diagramming for success
I had a project idea in my head that seemed too complex to work on until I tried diagramming it.
The idea was a multipurpose CRM-like action/account system thing. I think it might best be described by my first diagram.
I mean, just look at that nonsense. How was I supposed to make a database that handles that? It is the kind of nonsense that gets called “Enterprise” and costs eye-watering piles of cash to keep working.
That was where diagram 2 came in. Having identified groups and entities, it was possible to restructure to something approaching third normal form.
Thus, I made this:
All of that complicated referential business logic boiled down to a fairly simple data logic.
The moral of the story is this: If you have an idea that refuses to be wrestled into a neat or functional shape in your head, write down whatever you have. Lay it out as logically as you can. Often, in the process of writing it down, you will find that the problem can be tamed. The process of writing it down forces you to be clear about everything. Writing it down forces you to process one bit at a time.
The result is often greater clarity.
In my case, I feel ready to start planning the data API layer with what should be some fairly efficient database abstraction.
Sure, I’m going to have a few strange-looking UNION SELECT statements, and more LEFT JOIN and INNER JOIN than normal but I will also have optimised indexes for those selects and joins. Which means that it will not stress my database.
Also, I can use write and read replication to scale my idea.
Please share your thoughts on this with me.
Syndicated to: #DataLayer #Database #diagram #ERD -
The time I used diagramming for success
I had a project idea in my head that seemed too complex to work on until I tried diagramming it.
The idea was a multipurpose CRM-like action/account system thing. I think it might best be described by my first diagram.
I mean, just look at that nonsense. How was I supposed to make a database that handles that? It is the kind of nonsense that gets called “Enterprise” and costs eye-watering piles of cash to keep working.
That was where diagram 2 came in. Having identified groups and entities, it was possible to restructure to something approaching third normal form.
Thus, I made this:
All of that complicated referential business logic boiled down to a fairly simple data logic.
The moral of the story is this: If you have an idea that refuses to be wrestled into a neat or functional shape in your head, write down whatever you have. Lay it out as logically as you can. Often, in the process of writing it down, you will find that the problem can be tamed. The process of writing it down forces you to be clear about everything. Writing it down forces you to process one bit at a time.
The result is often greater clarity.
In my case, I feel ready to start planning the data API layer with what should be some fairly efficient database abstraction.
Sure, I’m going to have a few strange-looking UNION SELECT statements, and more LEFT JOIN and INNER JOIN than normal but I will also have optimised indexes for those selects and joins. Which means that it will not stress my database.
Also, I can use write and read replication to scale my idea.
Please share your thoughts on this with me.
Syndicated to: #DataLayer #Database #diagram #ERD -
The time I used diagramming for success
I had a project idea in my head that seemed too complex to work on until I tried diagramming it.
The idea was a multipurpose CRM-like action/account system thing. I think it might best be described by my first diagram.
I mean, just look at that nonsense. How was I supposed to make a database that handles that? It is the kind of nonsense that gets called “Enterprise” and costs eye-watering piles of cash to keep working.
That was where diagram 2 came in. Having identified groups and entities, it was possible to restructure to something approaching third normal form.
Thus, I made this:
All of that complicated referential business logic boiled down to a fairly simple data logic.
The moral of the story is this: If you have an idea that refuses to be wrestled into a neat or functional shape in your head, write down whatever you have. Lay it out as logically as you can. Often, in the process of writing it down, you will find that the problem can be tamed. The process of writing it down forces you to be clear about everything. Writing it down forces you to process one bit at a time.
The result is often greater clarity.
In my case, I feel ready to start planning the data API layer with what should be some fairly efficient database abstraction.
Sure, I’m going to have a few strange-looking UNION SELECT statements, and more LEFT JOIN and INNER JOIN than normal but I will also have optimised indexes for those selects and joins. Which means that it will not stress my database.
Also, I can use write and read replication to scale my idea.
Please share your thoughts on this with me.
Syndicated to: #DataLayer #Database #diagram #ERD -
Mroczna strona sztucznej inteligencji. Jak firmy z Doliny Krzemowej eksploatują pracowników w Afryce
Kiedy zachwycamy się kolejnymi możliwościami asystentów AI i bezbłędnym działaniem algorytmów, rzadko zastanawiamy się nad tym, kto nauczył je rozróżniać dobro od zła, a twarz od przedmiotu. Warto poznać dość ponure tło technologicznego boomu, którego jesteśmy świadkami.
Najnowszy reportaż serwisu 404 Media ujawnia brutalną prawdę o potężnych firmach technologicznych: inteligencja, którą nazywamy „sztuczną”, w dużej mierze opiera się na wyzysku taniej, ludzkiej siły roboczej w Afryce.
Michael Geoffrey Asia każdego dnia spędzał przed laptopem w Kenii osiem bitych godzin, oglądając pornografię. Nie robił tego dla przyjemności. Klatka po klatce opisywał i tagował to, co widzi na ekranie, dla firmy zajmującej się „etykietowaniem danych” (data labeling) na potrzeby AI. Kiedy kończył swoją pierwszą zmianę, płynnie przechodził do drugiej pracy. Stawał się ludzkim „silnikiem” dla botów erotycznych, na żywo prowadząc erotyczne pogawędki z samotnymi ludźmi, najprawdopodobniej ze Stanów Zjednoczonych. Jego jedynym szefem był algorytm, który dyktował mu, w jaką postać ma się w danej chwili wcielić.
„Wymagało to ogromnej kreatywności i szybkiego myślenia. Jeśli rozmawiałem z mężczyzną, miałem zachowywać się jak kobieta. Jeśli z kobietą, musiałem być mężczyzną. Jeśli pisała osoba homoseksualna, ja również musiałem się tak zachowywać” – relacjonuje Asia dziennikarzowi 404 Media, Jasonowi Koeblerowi.
Cyfrowe niewolnictwo za centy
Skutki tak ekstremalnego obciążenia psychicznego nie są trywialne. Asia, podobnie jak wielu innych afrykańskich „etykietowaczy” danych, dorobił się potężnej bezsenności, problemów w pożyciu małżeńskim, a ostatecznie zdiagnozowano u niego zespół stresu pourazowego (PTSD). Niektórzy z jego współpracowników spędzali przed monitorami nawet po 18 godzin na dobę, próbując zarobić na utrzymanie. Stawki? Często ułamek centa za wykonane zadanie.
Dzisiaj Michael Geoffrey Asia nie pracuje już dla gigantów AI. Został sekretarzem generalnym kenijskiej organizacji o nazwie Data Labelers Association (DLA). DLA zrzesza obecnie setki pracowników i walczy o podstawowe prawa pracownicze: godne wynagrodzenie, dostęp do opieki psychiatrycznej oraz zniesienie drakońskich umów o poufności (NDA), które mają uciszyć tych, którzy psychicznie nie wytrzymują obciążenia.
Widma w maszynie
Pracownicy tacy jak ci zrzeszeni w DLA to tak zwane „duchy” w maszynie – niewidzialna, ignorowana siła robocza. To oni trenują, udoskonalają i moderują narzędzia AI tworzone przez największe korporacje świata. Zmuszani są do wielogodzinnego wpatrywania się w najgorsze odmęty internetu (przemoc, pornografia, drastyczne wypadki), aby algorytmy wielkich firm wiedziały, czego nie wolno im pokazywać zachodnim użytkownikom. To ich praca pompuje wyceny spółek z Doliny Krzemowej do bilionów dolarów, choć sami zarabiają zaledwie kilka dolarów dziennie.
„Nigdy nie byłoby AI bez ludzi. To nie jest sztuczna inteligencja. To inteligencja afrykańska” – gorzko podsumowuje Asia. „Większość z tych brudnych prac wykonano tutaj, w Afryce. A kiedy narzędzie staje się w pełni funkcjonalne, kontakt się urywa. Zostajemy odcięci. My trenujemy własną śmierć. Trenujemy algorytmy, które powoli nas zabijają”.
Prawnicy wspierający DLA zwracają uwagę na jeszcze jeden, mroczny aspekt całej sytuacji. Wielkie korporacje technologiczne próbują wywierać naciski polityczne na państwa afrykańskie, dążąc do uzyskania całkowitego immunitetu i ochrony prawnej w zamian za obietnice inwestycji i umów handlowych.
Wizerunek AI jako magicznego, lśniącego algorytmu stworzonego przez genialnych inżynierów w San Francisco to tylko starannie wyreżyserowana iluzja. Prawda jest znacznie bardziej brutalna: pod spodem kryje się stara jak świat historia wyzysku, w której najbogatsi bogacą się kosztem zdrowia i życia tych najbiedniejszych.
#DataLabelersAssociation #dataLabelingKenia #ludzkiKosztSztucznejInteligencji #moderacjaTreściSztucznaInteligencja #mrocznaStronaAI #pracownicyAIWAfryce #PTSDUModeratorówTreści #trenowanieModeliAI #wyzyskWITYann LeCun zbiera miliard dolarów na sztuczną inteligencję, która rozumie fizykę
-
Ist ja nicht so sehr business network hier aber vielleicht ist heute zufällig noch jemand auf der TechShow Frankfurt unterwegs bzw Big Data & AI World?
Aus der @OSBA ?
#DataEngineering #databricks #dremio #Stackit #messefrankfurt #DataLakehouse
-
Stop the "Small File Syndrome" in your Data Lake. Learn how to implement Compaction, Z-Ordering, and automated maintenance in Databricks and Snowflake. https://hackernoon.com/the-silent-killer-of-data-lakes-solving-the-small-file-problem #datalake
-
ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)
К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.
https://habr.com/ru/articles/931282/
#dbt #ymlфайл #datalakehouse #data_engineering #etlпроцессы #open_source #trino #clickhouse #dagster
-
Colonia Aurora’s Women’s Day gift bag sparked a very awkward national conversation
A celebratory photo takes an unexpected turn as symbolism sparks debate over gender roles.Dear Cherubs, in Colonia Aurora, Misiones, a Women’s Day celebration turned into a public-relations skid mark after the municipality handed out cleaning supplies as prizes and posed the winners for photos. The event was meant to honor local women, but the visual language did the exact opposite and the internet noticed immediately.
THE PHOTO OP
Misiones Online reported that the municipality’s annual event included talks, music and recreational activities, and that more than 200 people attended. But the image that escaped into the wild was not the speech or the concert; it was women smiling with brooms, buckets and squeegees on a day that is supposed to recognize equality, not repackage housework as a prize.Página/12 and Infobae both described the same basic scene: prizes linked to domestic chores, posted from the municipality’s own social media, followed by a wave of criticism. That is the kind of clue that tells you the problem was not just what happened, but how proudly it was photographed.
THE DEFENSE
Mayor Carlos Goring told local media the cleaning items were part of a mime game and were not the only gifts handed out. He argued the day also included reflection, health talks and other prizes, but once the optics have gone viral, explanations tend to arrive carrying a very small umbrella.The municipality itself is a small one, with a little over 10,000 residents, tucked in Misiones near the Uruguay River and known for tobacco, yerba mate, soy and an increasingly important pineapple harvest, according to Infobae and DataClave. That is the kind of place where a community event can feel intimate and well-intended, right up until a photo turns it into a national punchline.
The blunt truth is that International Women’s Day carries a century-long history of labor, rights and political struggle, so a broom can never really be “just a joke” once it becomes the centerpiece. A playful game may have been the intent, but the message received by many viewers was a shrugging remix of old stereotypes, which is why the backlash spread so fast.
As noted by thisclaimer.com, the story is less about one municipal blunder than about the gap between intent and image. In the age of instant sharing, that gap can turn a local tribute into a national embarrassment before the mop water has even dried.
Colonia Aurora probably meant to stage a warm, community-minded event. Instead, it managed to hand critics a perfectly packaged symbol of exactly what not to do on 8M, and that is a hard lesson to sweep under the rug.
Misiones Online — https://misionesonline.net/2026/03/09/entrega-de-escobas-y-baldes-dia-de-la-mujer-criticas/
The Thisclaimer logo blends a classic warning symbol with a brain icon to represent critical thinking, curiosity, and thoughtful disclaimers. #Argentina #coloniaAurora #controversialEvent #criticism #culturalBacklash #education #equalityDebate #feministCritique #genderControversy #genderRolesDebate #genderStereotypes #governmentBacklash #health #inspiration #internationalWomensDay #localNews #mediaCriticism #misiones #municipalControversy #municipalPolitics #Music #news #opticsFail #outdatedStereotypes #poetry #politicalMisstep #PRDisaster #publicBacklash #publicCriticism #publicOutrage #PublicRelations #sexismDebate #socialMediaOutrage #symbolicControversy #toneDeaf #viral #viralBacklash #viralControversy #womenRightsDebate #womensDay
Infobae — https://www.infobae.com/politica/2026/03/09/polemico-festejo-por-el-dia-de-la-mujer-en-misiones-un-municipio-entrego-baldes-escurridores-y-escobas-como-premios/
Página/12 — https://www.pagina12.com.ar/2026/03/09/un-municipio-de-misiones-regalo-baldes-escobas-y-escurridores-por-el-dia-de-la-mujer/
DataClave — https://www.dataclave.com.ar/poder/controversia-en-pueblo-de-misiones-tras-un-festejo-del-8m-donde-regalaron-escobas-y-baldes_a69af09dc1d279cdde00a0818
thisclaimer.com — https://thisclaimer.com
Thisclaimer YouTube — https://www.youtube.com/@thisclaimer?sub_confirmation=1 -
Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов
Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я раскрою тему влияния динамического сокрытия чувствительных данных на производительность SQL-запросов. Мы сравним различные методики маскирования, узнаем, как работает оптимизатор и движок со скрытыми полями, происходит ли деградация пропускной способности платформы, как влияет на производительность выбранный метод сокрытия чувствительных данных в случаях, если вы используете компонент на базе Apache Ranger.
https://habr.com/ru/companies/datasapience/articles/1033038/
-
Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов
Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я раскрою тему влияния динамического сокрытия чувствительных данных на производительность SQL-запросов. Мы сравним различные методики маскирования, узнаем, как работает оптимизатор и движок со скрытыми полями, происходит ли деградация пропускной способности платформы, как влияет на производительность выбранный метод сокрытия чувствительных данных в случаях, если вы используете компонент на базе Apache Ranger.
https://habr.com/ru/companies/datasapience/articles/1033038/