#tsne — Public Fediverse posts

Что происходит внутри PCA, t-SNE и UMAP

Сколько глаз у человека? Два. А в сфере машинного обучения модели умеют видеть любую сразу тысячей или миллионами глаз. Мы живем в 3-х мерном пространстве(3D), и видим 2-х мерную картину мира. Модель, в свою очередь, обитает в цифровом пространстве. Она может видеть ваши 2D фото, 3D модель в Blender сразу со всех сторон и спокойно построить параллелепипед в 15D. Мы отлично ориентируемся в двух измерениях, немного хуже в трех, а дальше - ВСЁ. То, что вышло за пределы привычного куба, перестает быть геометрией в нашем земном понимании. Тем не менее нам приходится анализировать результаты работы моделей, для принятия соответствующих решений. Как это делать? Для этого многомерное пространство приходится каким-то образом «свернуть» в обычную плоскость, сохранив как можно больше информации о взаимном расположении точек. Для этой задачи разработаны специальные алгоритмы. Самыми известными из них сегодня стали PCA , t-SNE и UMAP . Несмотря на схожий результат в виде разноцветной двумерной карты, внутри они основаны на разных математических идеях. И сегодня мы узнаем на каких

https://habr.com/ru/companies/bothub/articles/1062924/

#rca #tSNE #umap #как_работает_umap #как_работает_tsne #как_работает_rca #гайд_tsne #гайд_rca #кластеризация #снижение_размерности

Evaluation of concentrations of 35 PCB congeners in blood of about 5,000 individuals in the U.S. in 2003-2004 identified variations in PCB fingerprints by age, with a distinct pattern in a subset of younger individuals.

UMAP, t-SNE, and PCA were used for dimensionality reduction and pattern analysis. UMAP proved best at clustering data points with similar fingerprints.

https://www.tandfonline.com/doi/full/10.1080/15275922.2026.2690366?af=R

(edit: added missing link)

#Science #PCBs #DataAnalysis #UMAP #tSNE #PCA #RStats

🧠 New comprehensive review on #LowDimensional #embeddings of #HighDimensional data. Discusses how #dimensionalityreduction helps visualizing, exploring, and #modeling #ComplexSystems. From #PCA to #tSNE, #UMAP & #NeuralNetworks: Excellent overview paper👌

🌍 https://arxiv.org/abs/2508.15929

#CompNeuro #MachineLearning #DataVisualization

#ReleaseTuesday — New version of https://thi.ng/tsne with ~15-20% better performance[1] due to avoiding repeated internal allocations and skipping gradient updates where unnecessary...

[1] Benchmarked with multiple datasets of ~750 items, each with 192 dimensions (now ~165ms @ MBA M1, 2020)...

#ThingUmbrella #TSNE #DataViz #Visualization #ML #Cluster #TypeScript #JavaScript

2D embeddings for high-dimensional data, the battle rages on

#umap #tsne #scrnaseq

https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1012403

Может ли простейшая нейросеть найти математическую закономерность в данных?

В этой небольшой статье мы научим нейросеть решать задачу умножения перестановок длины 5 (группа ) и визуализируем результаты обучения с помощью методов проекции t-SNE (с понижением размерности PCA) и алгоритма UMAP. Мы убедимся в том, что даже элементарная модель может "неосознанно" провести бинарную классификацию перестановок.

https://habr.com/ru/articles/851214/

#перестановки #переобучение #нейросеть #tsne #визуализация

Как анализировать тысячи отзывов с ChatGPT? Частые ошибки и пример на реальных данных

В этой статье я расскажу про свой опыт решения рабочей задачи — анализ отзывов о компании от пользователей. Мы разберем возможные ошибки и посмотрим на пример кода и реальных данных. Гайд будет полезен всем, у кого нет большого опыта в анализе данных или работе с LLM через API.

https://habr.com/ru/articles/821287/

#llm #gpt #chatgpt #python #clustering #kmeans #tsne #visualization #summarization #data_analysis

“Biostatistician Rafael Irizarry… dislikes many of the t-SNE and UMAP plots he sees. They offer little of value to a paper, he says, and the output from these tools is analytically intractable.”

https://www.nature.com/articles/s41592-024-02301-x

#PCA #UMAP #tSNE

These four #Python #tutorials introduce and discuss #PCA, #tsne, #factoranalysis, and #Autoencoder as powerful tools for #DimensionalityReduction:

🌍 https://www.fabriziomusacchio.com/blog/2023-06-16-pca_with_python/
🌍 https://www.fabriziomusacchio.com/blog/2023-06-12-tsne_vs_pca/
🌍 https://www.fabriziomusacchio.com/blog/2023-06-16-factoranalysis_with_python/
🌍 https://www.fabriziomusacchio.com/blog/2023-06-16-autoencoder_with_python/

Feel free to share, use and remix 😊🙏

#tutorial

The difference between mapping an n-dimensional feature space to three or two dimensions.

Source: https://lvdmaaten.github.io/tsne/ #tsne

I celebrate this! 😀
#Rstats #tSNE #MoMA

By the way this is the original article that presents t-SNE. Published 11/2008
https://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf
T-distributed stochastic neighbor embedding (t-SNE) is a statistical method for visualizing high-dimensional data in 2 or 3 dimensions.
#DataVisualization #tSNE #MachineLearning #DimensionalityReduction #DataScience #AI #DataAnalysis #DataAnalytics

Differences in visualizing high-dimensional data with #UMAP, #tSNE and #PCA using the Collection Space Navigator
https://collection-space-navigator.github.io/
#CollectionSpaceNavigator #DataVisualization #MultidimensionalData #DimensionalityReduction #MachineLearning #OpenSource #ResearchTool @schichmax @mcanet @andreskarjus @tillmannohm

I made a short video of the strange things UMAP and t-SNE can do to your data. The algorithms are shown mostly working as intended, yet with some surprising consequences.

#umap #tsne #scrnaseq #wtf

https://www.youtube.com/watch?v=gwqU9OoFwjQ

"certain kinds of important high-dimensional geometric features are, unfortunately, mathematically impossible to represent in the 2D Euclidean plane, no matter what method is used, leading to distorted visualizations and missed geometric, and potentially biological, insights at both local and global scales."

Wang et al. What cannot be seen correctly in 2D visualizations of single-cell ’omics data? Cell Syst. 2023 Sep 20;14(9):723–731. DOI: https://doi.org/10.1016/j.cels.2023.07.002

#genetics #tSNE #UMAP #omics

Use of t-SNE and #UMAP is increasing in biology! So I wonder how stochasticity of both the algorithms affect how we interpret the results? Can somebody enlighten? (#tSNE at least makes it clear in its acronym that it is stochastic)

Read about our embedding technique:
https://arxiv.org/abs/2205.10271

Stay tuned for the Collection Space Navigator release and publication.

* attributed to George Box
#CollectionSpaceNavigator #CSN #curation #museum #visualization #collections #ai #wikiart #digitalhumanities #arthistory #UMAP #tSNE #research #complexity #deeplearning #embeddings #compression #science #dataanalytics #dataanalysis #aesthetics #curating #computervision

3/3

The maths is the brain-child of Carlos Roca - I certainly didn't expect to publish a paper with these equations! Basically, Cross Entropy looks at the relative position of each each to all other cells, allowing you to test for differences in the "shape" of the #tSNE or #UMAP. 5/6

We have an exciting #computational paper out in @[email protected]. Ever use a #tSNE or #UMAP in #scSeq, #flowcytometry or #masscytometry? It doesn't have to be just a pretty picture anymore - we've developed a statistical test to check for differences. 1/6

https://www.cell.com/cell-reports-methods/fulltext/S2667-2375(22)00295-8

The super cool thing is that once you've segmented them, you can start to cluster them based on simply properties like area, circularity and solidity.

You can automatically classify into resting (red) and activated (green) microglia! How cool is that?
#tSNE #ScienceMastodon

#arxivfeed :

"Get a new perspective on EEG: Convolutional neural network encoders for parametric t-SNE."
https://www.biorxiv.org/content/10.1101/2022.12.08.519691v1

#Neuroscience #Neuro #Brain #Neuroimaging #EEG #DimensionalityReduction #tSNE #DeepLearning #NeuralNetworks

Nothing like the #Kaggle #fashion #MNIST variant to make me feel like a real Elle Woods over here doing t-SNE on purses and saliency maps on ankle boots 😅

https://github.com/janeadams/fashion_model_analysis/

#MachineLearning #WomeninSTEM #AI #ML #tsne #pca #WiDS #Python