← К каталогу

ЭКСПЕРИМЕНТ 01 · ОПИСАНИЕ

Инверсия векторного представления

Эксперимент ищет короткую последовательность WordPiece-токенов, представление которой максимально приближается к заданному вектору в пространстве SimCSE.

МОДЕЛЬSimCSE BERT BaseРАЗМЕРНОСТЬ768ДЛИНА1–4 токенаМЕТРИКАCosine similarity
01

ЗАДАЧА

Что проверяет эксперимент

Кодировщик превращает текст в точку многомерного пространства, но обратного однозначного преобразования не существует. Лаборатория исследует, насколько близкий дискретный текст можно восстановить оптимизацией непосредственно в пространстве представлений.

02

ВХОДНЫЕ ДАННЫЕ

Как задаётся цель

Целью служит представление введённой английской фразы либо воспроизводимый случайный единичный вектор. Для случайной цели используется seed, поэтому один и тот же запуск можно повторить.

03

МЕТОД

Как устроен поиск

  1. Мягкая последовательность. Для каждой позиции создаётся распределение по словарю WordPiece.
  2. Градиентная оптимизация. Распределения изменяются так, чтобы увеличить cosine-сходство с целью и постепенно снизить неопределённость.
  3. Дискретизация. На каждой контрольной точке выбираются конкретные токены и отдельно измеряется их hard cosine.
  4. Уточнение. В глубоком режиме координатный поиск перебирает замены токенов и оставляет лучший дискретный вариант.
04

РЕЖИМЫ

Глубина вычислений

Быстрый2 токена · 100 шагов · 1 рестарт

Баланс3 токена · 250 шагов · 3 рестарта

Глубокий4 токена · 500 шагов · 5 рестартов · уточнение

05

РЕЗУЛЬТАТ

Что возвращает лаборатория

Найденную последовательность, значения сходства и энтропии, время вычисления, траекторию оптимизации, локальную PCA-проекцию и журнал событий. Результатом можно поделиться через скрытую ссылку.

ФОРМАЛИЗАЦИЯ

Математическая схема

Пусть f — замороженный SimCSE-кодировщик, V — допустимый WordPiece-словарь, а Ev — эмбеддинг токена v.

01 · ЦЕЛЬ

Единичный вектор

t=f(xtarget)∥f(xtarget)∥2t=ξ∥ξ∥2,ξ∈R768\begin{aligned} t &= \frac{f(x_{\mathrm{target}})}{\lVert f(x_{\mathrm{target}})\rVert_2} \\ t &= \frac{\xi}{\lVert\xi\rVert_2},\quad \xi\in\mathbb{R}^{768} \end{aligned}

Текстовая и случайная цели приводятся к одной нормированной геометрии.

02 · РЕЛАКСАЦИЯ

Мягкие WordPiece-позиции

pi(v;τ)=exp⁡(ziv/τ)∑u∈Vexp⁡(ziu/τ)e~i=∑v∈Vpi(v;τ)Ev\begin{aligned} p_i(v;\tau) &= \frac{\exp(z_{iv}/\tau)}{\sum_{u\in V}\exp(z_{iu}/\tau)} \\ \tilde e_i &= \sum_{v\in V}p_i(v;\tau)E_v \end{aligned}

Вместо одного токена позиция временно содержит взвешенную смесь эмбеддингов.

03 · ОПТИМИЗАЦИЯ

Охлаждение и функция потерь

τ(q)=τ0(τ1τ0)q,q∈[0,1]Hˉ(p)=−1nlog⁡∣V∣∑i∑vpi(v)log⁡pi(v)L=1−cos⁡ ⁣(f(e~1:n),t)+λq2Hˉ(p)\begin{aligned} \tau(q) &= \tau_0\left(\frac{\tau_1}{\tau_0}\right)^q,\quad q\in[0,1] \\ \bar H(p) &= -\frac{1}{n\log|V|}\sum_i\sum_v p_i(v)\log p_i(v) \\ \mathcal L &= 1-\operatorname{cos}\!\left(f(\tilde e_{1:n}),t\right)+\lambda q^2\bar H(p) \end{aligned}

Cosine-сходство растёт, а усиливающийся энтропийный штраф делает выбор токенов определённее.

04 · ДИСКРЕТИЗАЦИЯ

Argmax и уточнение

x^i=arg max⁡v∈Vzivxi←arg max⁡v∈Vcos⁡ ⁣(f(x−i,v),t)\begin{aligned} \hat x_i &= \operatorname*{arg\,max}_{v\in V}z_{iv} \\ x_i &\leftarrow \operatorname*{arg\,max}_{v\in V}\operatorname{cos}\!\left(f(x_{-i},v),t\right) \end{aligned}

После argmax короткая версия может проверить каждую замену и оставить лучший дискретный вариант.

05 · МАТРИЦЫ ОПТИМИЗАЦИИ

От логитов к входу SimCSE

Z∈Rn×∣V∣,1≤n≤4Pτ=softmax⁡row(Z/τ)∈Rn×∣V∣E∈R∣V∣×768X~=PτE∈Rn×768Xin=[eCLS;X~;eSEP]∈R(n+2)×768\begin{aligned} Z &\in \mathbb{R}^{n\times|V|},\quad 1\le n\le 4 \\ P_\tau &= \operatorname{softmax}_{\mathrm{row}}(Z/\tau)\in\mathbb{R}^{n\times|V|} \\ E &\in\mathbb{R}^{|V|\times768} \\ \tilde X &= P_\tau E\in\mathbb{R}^{n\times768} \\ X_{\mathrm{in}} &= [e_{\mathrm{CLS}};\tilde X;e_{\mathrm{SEP}}]\in\mathbb{R}^{(n+2)\times768} \end{aligned}

Каждая строка Z относится к позиции, а каждый столбец — к допустимому WordPiece-токену. Умножение PτE превращает распределения по словарю в последовательность 768-мерных мягких эмбеддингов.

06 · МАТРИЦА ПРОЕКЦИИ

Как строится PCA-карта

A∈Rm×768,μ=1m∑j=1mAjAc=A−1μ⊤=UΣW⊤Y=AcW:,1:2∈Rm×2\begin{aligned} A &\in\mathbb{R}^{m\times768},\qquad \mu=\frac{1}{m}\sum_{j=1}^{m}A_j \\ A_c &= A-\mathbf{1}\mu^\top=U\Sigma W^\top \\ Y &= A_cW_{:,1:2}\in\mathbb{R}^{m\times2} \end{aligned}

Строки A — целевой вектор и уникальные дискретные кандидаты. После центрирования SVD выделяет два главных направления, а Y содержит координаты точек на визуализации.

КАК ЧИТАТЬ РЕЗУЛЬТАТ

Основные показатели

01

Hard cosine

chard=cos⁡ ⁣(f(x^),t)c_{\mathrm{hard}} = \operatorname{cos}\!\left(f(\hat{x}), t\right)

Сходство целевого вектора с представлением итоговой дискретной последовательности. Это основная метрика результата.

02

Continuous cosine

csoft=cos⁡ ⁣(f(e~1,…,e~n),t)c_{\mathrm{soft}} = \operatorname{cos}\!\left(f(\tilde e_1,\ldots,\tilde e_n), t\right)

Сходство для непрерывного мягкого кандидата во время оптимизации. Оно показывает потенциал поиска до дискретизации.

03

Entropy

Hˉ(p)=−1nlog⁡∣V∣∑i∑vpi(v)log⁡pi(v)\bar H(p) = -\frac{1}{n\log|V|}\sum_i\sum_v p_i(v)\log p_i(v)

Неопределённость распределений по словарю. Снижение энтропии означает, что позиции сходятся к конкретным токенам.

04

PCA-проекция

Y=(X−Xˉ)W1:2Y = (X - \bar X)W_{1:2}

Локальная двумерная карта цели и кандидатов. Её оси помогают видеть траекторию, но не имеют самостоятельного смысла.