Pirate Bay для нейросетей: появился Pirate Face 🏴☠️
Все любят кричать про «open-source AI», но 99% этого самого «опенсорса» физически лежит на серверах одной-единственной коммерческой компании — Hugging Face.
Если завтра регуляторы надавят на HF, правообладатели завалят их страйками, или площадке просто перестанет нравиться какой-нибудь контент — половина опенсорсного зоопарка превратится в тыкву.
Эту проблему попытался решить сервис Pirate Face — торрент-трекером для весов моделей, LoRA и датасетов.
Все модели под открытыми лицензиями там зеркалируются в P2P-раздачи. Торрент изначально качает данные прямо с серверов Hugging Face на максимальной скорости (пока HF жив).
Но как только модель удаляют или блокируют на HF, она переходит в статус Rescued. Качалка переключается на p2p-сеть — данные раздают все пользователи, у которых эти веса уже лежат на дисках.
Торренты пережили все попытки копирайт-войн за последние 20 лет. Вот так вот круг замкнулся, сначала большие языковые модели обучили на половине интернета, спираченной через торренты и теневые библиотеки, а теперь сами веса моделей отправляются на торренты.
Но веса современных сеток — это вам не сериальчик на 1.5 ГБ. Базовые модели и кванты весят по 20, 60, а то и 700+ ГБ (как условный DeepSeek).
BitTorrent прекрасно работает, когда миллионы людей качают один и тот же файл и делятся кусочками. Но кто этот святой джентльмен, который будет годами держать у себя на сервере петабайты редких чекпоинтов и круглосуточно отдавать их на гигабитном аплоаде чисто за идею?
Если Hugging Face завтра удалит модель на 70 миллиардов параметров, качать её с одного несчастного домашнего сидера с асимметричным тарифом вы будете примерно до пенсии.
Поэтому что-то не факт, что взлетит 🤷♂️
Все любят кричать про «open-source AI», но 99% этого самого «опенсорса» физически лежит на серверах одной-единственной коммерческой компании — Hugging Face.
Если завтра регуляторы надавят на HF, правообладатели завалят их страйками, или площадке просто перестанет нравиться какой-нибудь контент — половина опенсорсного зоопарка превратится в тыкву.
Эту проблему попытался решить сервис Pirate Face — торрент-трекером для весов моделей, LoRA и датасетов.
Все модели под открытыми лицензиями там зеркалируются в P2P-раздачи. Торрент изначально качает данные прямо с серверов Hugging Face на максимальной скорости (пока HF жив).
Но как только модель удаляют или блокируют на HF, она переходит в статус Rescued. Качалка переключается на p2p-сеть — данные раздают все пользователи, у которых эти веса уже лежат на дисках.
Торренты пережили все попытки копирайт-войн за последние 20 лет. Вот так вот круг замкнулся, сначала большие языковые модели обучили на половине интернета, спираченной через торренты и теневые библиотеки, а теперь сами веса моделей отправляются на торренты.
Но веса современных сеток — это вам не сериальчик на 1.5 ГБ. Базовые модели и кванты весят по 20, 60, а то и 700+ ГБ (как условный DeepSeek).
BitTorrent прекрасно работает, когда миллионы людей качают один и тот же файл и делятся кусочками. Но кто этот святой джентльмен, который будет годами держать у себя на сервере петабайты редких чекпоинтов и круглосуточно отдавать их на гигабитном аплоаде чисто за идею?
Если Hugging Face завтра удалит модель на 70 миллиардов параметров, качать её с одного несчастного домашнего сидера с асимметричным тарифом вы будете примерно до пенсии.
Поэтому что-то не факт, что взлетит 🤷♂️