#word2vec — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #word2vec, aggregated by home.social.
-
How a computer reads text - from counting words to vectors
From tokenization through TF-IDF and Markov chains, to Word2Vec. How a computer turns text into numb...
https://gruszka.dev/en/how-computer-reads-text.html
#llm #ai #nlp #tokenization #word2vec #embeddings #tfidf #markov #bayes #languagemodels -
How a computer reads text - from counting words to vectors
From tokenization through TF-IDF and Markov chains, to Word2Vec. How a computer turns text into numb...
https://gruszka.dev/en/how-computer-reads-text.html
#llm #ai #nlp #tokenization #word2vec #embeddings #tfidf #markov #bayes #languagemodels -
Jak komputer czyta tekst - od liczenia słów do wektorów
Od tokenizacji przez TF-IDF i łańcuchy Markowa, aż po Word2Vec. Jak komputer zamienia tekst w liczby...
https://gruszka.dev/jak-komputer-czyta-tekst.html
#llm #ai #nlp #tokenizacja #word2vec #embeddings #tfidf #markow #bayes #languagemodels -
Jak komputer czyta tekst - od liczenia słów do wektorów
Od tokenizacji przez TF-IDF i łańcuchy Markowa, aż po Word2Vec. Jak komputer zamienia tekst w liczby...
https://gruszka.dev/jak-komputer-czyta-tekst.html
#llm #ai #nlp #tokenizacja #word2vec #embeddings #tfidf #markow #bayes #languagemodels -
How a computer reads text - from counting words to vectors
From tokenization through TF-IDF and Markov chains, to Word2Vec. How a computer turns text into numb...
https://gruszka.dev/en/how-computer-reads-text.html
#llm #ai #nlp #tokenization #word2vec #embeddings #tfidf #markov #bayes #languagemodels -
How a computer reads text - from counting words to vectors
From tokenization through TF-IDF and Markov chains, to Word2Vec. How a computer turns text into numb...
https://gruszka.dev/en/how-computer-reads-text.html
#llm #ai #nlp #tokenization #word2vec #embeddings #tfidf #markov #bayes #languagemodels -
This week, session 08 of #KDAI2026 lecture 08: NLP 04 went live.
From words to vectors, from vectors to meaning:
- 🔤 TF-IDF & sparse document vectors
- 🎲 Naive Bayes classification (spam, sentiment & beyond)
- 🧠 Neural language models — word2vec, ELMo, BERT
"You shall know a word by the company it keeps." — J.R. Firth, 1957See you, space cowboy… 🤠📡
#NLP #MachineLearning #KnowledgeGraphs #AI #Word2Vec #BERT @fizise @fiz_karlsruhe @KIT_Karlsruhe -
This week, session 08 of #KDAI2026 lecture 08: NLP 04 went live.
From words to vectors, from vectors to meaning:
- 🔤 TF-IDF & sparse document vectors
- 🎲 Naive Bayes classification (spam, sentiment & beyond)
- 🧠 Neural language models — word2vec, ELMo, BERT
"You shall know a word by the company it keeps." — J.R. Firth, 1957See you, space cowboy… 🤠📡
#NLP #MachineLearning #KnowledgeGraphs #AI #Word2Vec #BERT @fizise @fiz_karlsruhe @KIT_Karlsruhe -
Jak komputer czyta tekst - od liczenia słów do wektorów
Od tokenizacji przez TF-IDF i łańcuchy Markowa, aż po Word2Vec. Jak komputer zamienia tekst w liczby...
https://gruszka.dev/jak-komputer-czyta-tekst.html
#llm #ai #nlp #tokenizacja #word2vec #embeddings #tfidf #markow #bayes #languagemodels -
Jak komputer czyta tekst - od liczenia słów do wektorów
Od tokenizacji przez TF-IDF i łańcuchy Markowa, aż po Word2Vec. Jak komputer zamienia tekst w liczby...
https://gruszka.dev/jak-komputer-czyta-tekst.html
#llm #ai #nlp #tokenizacja #word2vec #embeddings #tfidf #markow #bayes #languagemodels -
[Перевод] Чему именно учится word2vec?
Чему именно учится модель word2vec? Как она это делает? Ответы на эти вопросы мы поищем, анализируя то, как модель изучает представления данных при рассмотрении минималистичной, но достаточно актуальной задачи языкового моделирования. Модель word2vec — это широко известная предшественница современных языковых моделей. Но, несмотря на это, на протяжении долгих лет в распоряжении исследователей не было количественной прогностической теории, описывающей процесс обучения модели. В нашей новой публикации мы, наконец, представили общественности такую теорию. Мы доказали то, что существуют реалистичные, применимые на практике режимы, в которых задача обучения модели сводится к невзвешенной факторизации матриц с использованием метода наименьших квадратов. Мы занимаемся аналитическим моделированием градиентного потока. Представления данных, которые в итоге изучает модель, выводятся с помощью обычного метода главных компонент.
-
От «яблока» до «королевы»: как нейросети учатся понимать смысл слов через эмбеддинги
Представьте, что вы объясняете ребёнку, что такое «яблоко». Вы покажете картинку, дадите попробовать, расскажете, что оно круглое, сладкое, растёт на дереве, а теперь попробуйте объяснить это нейросети. Она не видит, не пробует, но она понимает только числа. Как же тогда заставить машину понять, что «яблоко» ближе к «груше», чем к «трактору»? Ответ на самом деле кроется в элегантном приёме, который произвёл революцию в NLP- векторных представлениях слов , или эмбеддингах . Проблема «слепого» кодирования: почему one-hot не работает Самый наивный подход- это пронумеровать все слова в словаре и закодировать каждое вектором из нулей и одной единицы:
https://habr.com/ru/articles/992928/
#эмбеддинги #word2vec #nlp #машинное_обучение #векторные_представления #косинусное_сходство #обработка_естественного_языка #нейросети #нейросеть #нейросети_python
-
Piotr Migda tries to explain vector math magic in 'king – man + woman = queen' using #word2vec 🤓, but it's basically just a linguistic Ouija board session. 🤔 Spoiler alert: it's still math, not #sorcery. 🧙♂️✨
https://p.migdal.pl/blog/2017/01/king-man-woman-queen-why/ #PiotrMigda #vectorMath #linguisticOuijaBoard #mathNotMagic #HackerNews #ngated -
Piotr Migda tries to explain vector math magic in 'king – man + woman = queen' using #word2vec 🤓, but it's basically just a linguistic Ouija board session. 🤔 Spoiler alert: it's still math, not #sorcery. 🧙♂️✨
https://p.migdal.pl/blog/2017/01/king-man-woman-queen-why/ #PiotrMigda #vectorMath #linguisticOuijaBoard #mathNotMagic #HackerNews #ngated -
Word2vec-style vector arithmetic on docs embeddings
https://technicalwriting.dev/embeddings/arithmetic/index.html
#HackerNews #Word2vec-style #vector #arithmetic #on #docs #embeddings #Word2vec #vectorarithmetic #docsembeddings #NLP #MachineLearning
-
Word2vec-style vector arithmetic on docs embeddings
https://technicalwriting.dev/embeddings/arithmetic/index.html
#HackerNews #Word2vec-style #vector #arithmetic #on #docs #embeddings #Word2vec #vectorarithmetic #docsembeddings #NLP #MachineLearning
-
Upgrading from word2vec to OpenAI #code #ml #openai #ithcwy #word2vec Using the Open AI embeddings API to find better related posts for a blog.
https://ithoughthecamewithyou.com/post/upgrading-from-word2vec-to-openai
-
Pre #2020: #Factorizing Tools
These #AI wre #DeepLearning breakthroughs. #Word2Vec, #DeepDream and #AlphaGo solved novel, previously unsolvable, problems.
If you weren't in the field, you might not think these were AI, and #GPT 2 might have surprised you.
-
Pre #2020: #Factorizing Tools
These #AI wre #DeepLearning breakthroughs. #Word2Vec, #DeepDream and #AlphaGo solved novel, previously unsolvable, problems.
If you weren't in the field, you might not think these were AI, and #GPT 2 might have surprised you.
-
[Перевод] Простой механизм поиска с нуля
Мы с Крисом недавно «с нуля» буквально за пару часов создали механизм поиска для моего блога. Основную часть проделал именно Крис, так как до этого с word2vec я был знаком лишь отдалённо. Разработанный нами поисковик основывается на векторных представлениях (эмбеддингах) слов. Принцип здесь следующий. Функция получает слово и отображает его в N-мерное пространство (в данном случае N=300 ), где каждое измерение отражает определённый оттенок смысла. Вот хорошая статья (англ.) о том, как обучить собственную модель word2vec, и её внутреннем устройстве. Суть работы созданного нами поиска заключается в преобразовании моих статей, а точнее составляющих их слов, в эмбеддинги, сохраняемые в общем пространстве. Затем при выполнении конкретного поиска текст его запроса преобразуется аналогичным образом и сопоставляется с векторами статей. В результате этого сопоставления, используя метрику косинусного сходства , мы ранжируем статьи по их релевантности запросу. Уравнение ниже может показаться пугающим, но в нём говорится, что косинусное сходство, представляющее косинус угла между двух векторов cos(theta) , определяется в виде скалярного произведения, поделённого на произведение величин каждого вектора. Разберём всё это подробнее.
https://habr.com/ru/companies/ruvds/articles/920174/
#ruvds_перевод #поиск #word2vec #эмбеддинги #косинусное_сходство #векторизация
-
9. TL;DR
Word2Vec was more than just a way to embed words.
It showed us that contrastive learning works — and it’s now everywhere in LLMs and beyond.#LLM #AI #Embeddings #NLP #MachineLearning #Word2Vec #ContrastiveLearning
-
🚀 Wow, two tech wizards defy all odds and cobble together a "search engine" for a blog using word2vec—a tool they just heard about. 🤯 In a Herculean effort that took mere hours, they bravely ventured into the N-dimensional wilderness, emerging victorious with a masterpiece that finds... things. 🧐🔍
https://bernsteinbear.com/blog/simple-search/ #techinnovation #word2vec #searchengine #codingadventure #Ndimensionalvictory #blogtools #HackerNews #ngated -
🚀 Wow, two tech wizards defy all odds and cobble together a "search engine" for a blog using word2vec—a tool they just heard about. 🤯 In a Herculean effort that took mere hours, they bravely ventured into the N-dimensional wilderness, emerging victorious with a masterpiece that finds... things. 🧐🔍
https://bernsteinbear.com/blog/simple-search/ #techinnovation #word2vec #searchengine #codingadventure #Ndimensionalvictory #blogtools #HackerNews #ngated -
История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима
Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!
-
Next stop in our NLP timeline is 2013, the introduction of low dimensional dense word vectors - so-called "word embeddings" - based on distributed semantics, as e.g. word2vec by Mikolov et al. from Google, which enabled representation learning on text.
T. Mikolov et al. (2013). Efficient Estimation of Word Representations in Vector Space.
https://arxiv.org/abs/1301.3781#NLP #AI #wordembeddings #word2vec #ise2025 #historyofscience @fiz_karlsruhe @fizise @tabea @sourisnumerique @enorouzi
-
Next stop in our NLP timeline is 2013, the introduction of low dimensional dense word vectors - so-called "word embeddings" - based on distributed semantics, as e.g. word2vec by Mikolov et al. from Google, which enabled representation learning on text.
T. Mikolov et al. (2013). Efficient Estimation of Word Representations in Vector Space.
https://arxiv.org/abs/1301.3781#NLP #AI #wordembeddings #word2vec #ise2025 #historyofscience @fiz_karlsruhe @fizise @tabea @sourisnumerique @enorouzi
-
Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект
Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»). Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины.
https://habr.com/ru/companies/ruvds/articles/892646/
#Илья_Суцкевер #Ilya_Sutskever #OpenAI #10x_engineer #AlexNet #Safe_Superintelligence #ImageNet #неокогнитрон #GPU #GPGPU #CUDA #компьютерное_зрение #LeNet #Nvidia_GTX 580 #DNNResearch #Google_Brain #Алекс_Крижевски #Джеффри_Хинтон #Seq2seq #TensorFlow #AlphaGo #Томаш_Миколов #Word2vec #fewshot_learning #машина_Больцмана #сверхинтеллект #GPT #ChatGPT #ruvds_статьи
-
@futurebird @krozruch That might be very interesting trained on large enough corpus... Who, for instance is exactly between A and B in "thought-space" and can they understand both sides and help bridge communication? Who is in the space further along the distance from group A and B but more extreme in both directions? Think #Word2Vec math... with writers voices and thinking. Then feed #politicians words in and see where they are relative to public thoughtspace, etc..
-
https://fchollet.substack.com/p/how-i-think-about-llm-prompt-engineering
"Word2vec enabled you to do basic things like plural(cat) → cats or male_to_female(king) → queen. Meanwhile LLMs can do pure magic — things like write_this_in_style_of_shakespeare(“…your poem…”) → “…new poem…”. And they contain millions of such programs."
-
An In-Depth Guide to Contrastive Learning: Techniques, Models, and Applications
https://myscale.com/blog/what-is-contrastive-learning/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec -
An In-Depth Guide to Contrastive Learning: Techniques, Models, and Applications
https://myscale.com/blog/what-is-contrastive-learning/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec -
LangChain vs. LlamaIndex
https://myscale.com/blog/llamaindex-vs-langchain-detailed-comparison/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec -
LangChain vs. LlamaIndex
https://myscale.com/blog/llamaindex-vs-langchain-detailed-comparison/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec -
By vector math, recall #word2vec and nearest word to "king" - "man" + "woman" = "queen".
Learn a #vector representation for writers, philosophers, #political leaders and voices.
Map them and show a visualization of where major figures fall on this vector-space of their words.
Plug in writers who's ideas you like, average them and find the vector at the center and find others in that thought space.
Do the reverse - map voices you hate and see where they are and who's in between, etc.
-
LLMs and puzzles. An interesting read.
Apparently biology and intelligence doesn't bend to the will of storytellers.
Meanwhile, the word2vec yarn-spinning continues...
-
LLMs and puzzles. An interesting read.
Apparently biology and intelligence doesn't bend to the will of storytellers.
Meanwhile, the word2vec yarn-spinning continues...
-
Что такое векторизация текста в NLP и какая она бывает: One-hot encoding, Bag of words, TF-IDF, Word2Vec, BERT и другие
Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и в этой статье я расскажу про разные способы векторизации текстов. Всем привет! Вдохновившись прикольной и понятной статьей на английском языке, и не найдя сходу чего-то похожего в русскоязычном сегменте интернета, решил написать о том, как обрабатывается текст перед тем, как на нем начинают применять разные модели ИИ. Эту статью я напишу нетехническим языком, потому что сам не технарь и не математик. Надеюсь, что она поможет узнать о NLP тем, кто не сталкивается с AI в продуктах на ежедневной основе. О чем эта статья:
https://habr.com/ru/articles/820159/
#Onehot_encoding #Bag_of_words #TFIDF #Word2Vec #BERT #NLP #nlp_(natural_language_processing) #nlpмодели
-
We were not accepted into Google Summer of Code. So, we started our own
https://qdrant.tech/blog/qdrant-summer-of-code-24/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
We were not accepted into Google Summer of Code. So, we started our own
https://qdrant.tech/blog/qdrant-summer-of-code-24/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
Qdrant, the Vector Search Database, raised $28M in a Series A round
https://qdrant.tech/blog/series-a-funding-round/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
A bittersweet retrospective by Tomas Mikolov on #word2vec after receiving the “Test Of Time” award for it at #NeurIPS:
Their seminal #paper was rejected four times 😥:
https://openreview.net/forum?id=idpCdOWtqXd60
-
Teach your LLM to answer with facts, not fiction
https://blog.myscale.com/2023/07/17/teach-your-llm-vector-sql/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec -
Today's #ise2023 lecture was focusing on Naive Bayes Classification, POS Tagging, and distributional semantics with Word Embeddings
https://drive.google.com/drive/folders/11Z3_UGQjGONyHyZbj_kIdgT-LglZH4Ob
#nlp #lecture #classification #wordembeddings #languagemodels #word2vec #hiddenMarkovModel #distributionalsemantics @fizise @KIT_Karlsruhe #stablediffusionart #creativeAI
-
We use the Fast Fourier Transform (#FFT) #algorithm to do #LossyCompression for things like images (e.g. jpeg). Most of the information is dropped and only the most important information is retained, which when reversed provides a noisy but recognisable version of the original image.
If this happens with a simple matrix of multi-dimensional vectors (e.g. a bitmap) could it not also be done with word embeddings like #word2vec to perform lossy compression on text? Is this a thing?
-
Messing about with #word2vec using a simulated toy language - nice way to try to grok and check how things are working. https://www.tegladwin.com/files/howto/word2vec_toy_language.php
-
Psychology-slash-AI paper about how semantic similarity, as per a language model (word2vec), is statistically associated with behavioural congruence effects at the item level, based on data from an IAT variant:
https://www.tandfonline.com/eprint/HQSV7KQY35BY53BHEW36/full?target=10.1080/16066359.2022.2123474#Psychology #AI #NLP #semantic #word2vec #IAT #bias #association
