тут будет продолжение - не удалять!
[2] Система охлаждения фермы.
a) Выбор системы охлаждения:
Была конечно красивая идея погрузить весь комп с видеокартами в трансформаторное нейтральное масло, установить помпу и радиатор от жигулей для отвода тепла, но от такой идеи было решено отказаться ввиду её дороговизны, не практичности и лишения гарантии на железо. По той же причине отказ от водянки. Решено было остановиться на
воздушной активной системе охлаждения с кондиционером в помощь летом когда температура внешнего воздуха может достигать 35-37 градусов.
Для эффективной системы охлаждения требовался детальный анализ потоков воздуха, создаваемый куллерами видеокарт. Как из известно нерефересные системы охлаждения имеют по 2-3 вентилятора, с отводом горячего воздуха в бок с радиатора видеокарты. Соответсвенно нагнетать воздух на видеокарты можно с торцов и снизу. Снизу размещена материнка с подсоединёнными райзерами, поэтому размещение вентиляторов под картами давольно проблематично - остаются торцы видеокарт. На блок из 6 видеокарт было решено поставить 3х140мм. высокопроизводительных куллеров (с одной стороны), а с другой стороны (со стороны разъёмов) было решено поставить обычный 40 см. бытовой вентилятор для нагнетания воздуха на стойке (дешёвое и эффективное решение).
[3] Подбор железа.
а) питание (расчёт потребляемой мощности фермы)
Для питания фермы необходим мощный источник питания, а лучше два, способный отдавать по 12В большой ток.
Прикинув возможное потребление 5х7970 приходим к неутешительному выводу:
5x250Вт=1250Вт. будут потреблять видеокарты на номинальных частотах, при их разгоне потребление может возрасти до 270-280Вт. на карту итого имеем 1350-1400Вт. На остальное (мать, процессор, память, hdd, куллера) отводим 150-200Вт. и видим что 1500Вт. БП будет работать на максимальной нагрузке, поэтому чтобы обеспечить данную мощность он должен быть качественным, иметь высокий кпд, т.е. желательно сертифицирован по стандарту 80+ gold. Но если вы посмотрите стоимость таких БП то увидит что она превышает 400-500$. Поэтому для начала был выбран более дешовый вариант БП (а значит менее качественный) 1500Вт, а именно Блок питания
1500 Вт Enhance EPS-0815GB .
Цена его в sotmarket`e без шнура питания и отстёгивающихся кабелей (это я узнал только по приходу моего заказа) составила около 200$. Блок питания имеет шесть виртуальных линий по 25А каждая, однако суммарная потребляемая мощность по 12В. составляет 1320Вт. Поделив на 5 карт мы получим 264Вт. на карту, учитывая питание процессора и остальных комплектующих рассчитывать стоит на гарантированных 250Вт. на карту, т.е. потенциал разгона карт и возможность подключения 5 карты под сомнением (что в последствии подтвердилось опытным путём).
Отдельно поговорим про проблему питания карт с материнки. Как известно спецификация PCI-E предусматривает возможность отдачи 75Вт. через разъём, соответственно посчитав суммарную мощность 75х5=375Вт. получим довольно большой ток потребления материнки по каналу 12Вт. (375/12=31,25А) что может привести к выгоранию дорожек на материнской плате, судя по обсуждениям на форумах майнеров, поэтому кто-то заморачивался с подводом доп. 12В. прямо на райзеры. К счастью карты 7970 не берут такую можность с разъёма PCI-E а, практически всю мощность потребляют с доп. питания 6+8 pin PCI-E. Поэтому если вы используйт карты 7970 или аналоги (280х) то с доп. питанием на райзеры заморачиваться не стоит, что есть огромный +.
б) Выбор GPU: тут однозначно лучший (оптимальный) вариант 7970 (R9 280x), либо 7950 (немного похуже). Топовые сегодняшниее R 290 и 290x хоть и производительней, но наличии карт только рефересной системой охлаждения (1 турбина) не даст раскрыть частотный потенциал карт поэтому покупать их настоятельно не рекомендую ибо летом вы столкнётесь с проблемами охлаждения и цена за это - снижение производительности. С другой стороны сейчас зима и владельцы балконов могут рискнуть купив и R290, 290x, в этом случае вам понадобится
два блока питания (об их подключении несколько позже) ибо 1 1500-1600Вт. БП не справится с подачей необходимой мощности. Что касается марки - я одал предпочтение GiGabyte (1100/1500 boost) и MSI (950/1350 - стандрат, они так же могут работать на 1050/1500). Карты естественно лучше брать с заводским разгоном (он на самом деле обеспечивается более качественными чипами и как следствие возможностью работы на большей частоте). Для майнинга крипт форков нужно не менее 1050/1500 (частота ядра/памяти соответсвенно), в этом случае производительность одной карты достигает 725-740kh. Слабые карты где заявлена частота ядра 850-925 настоятельно брать не рекомендую - разгонный потенциал их не велик.
Итак мой выбор карт:
2xGIGABYTE Radeon HD 7970 1100Mhz PCI-E 3.0 3072Mb 6000Mhz 384 bit DVI HDMI HDCP
3xMSI Radeon HD 7970 1000Mhz PCI-E 3.0 3072Mb 5500Mhz 384 bit DVI HDMI HDCP
в) Выбор материнской платы.
Тут всё просто чем больше слотов PCI-E тем больше карт можно подключить, поэтому рассматриваем только материнки от 5 шт. PCI-E имеющие. Не важно какие это будут слоты 1х, 4х или 16х важно только чтобы допускалась одновременно работа всех слотов. Руководствуясь ценой (а при создании 1 фермы экономим на всём) была выбрана бюджетная плата от Gigabyte
GA-B75-D3V - при цене менее 100$ она отвечает необходимым нам требованиям, правда возможность апгрейда не имеет (можно установить максимум только пять карт, хотя если обратить внимание на два слота PCI и пораскинув мозгами, используя переходники PCIPCI-Ex1 можно думать что как-то возможно реально воткуть в неё 7 карт.)
Для тех кто желат возможности апгрейда (+1 карта, т.е. 6 карт на мать) рекомендую присмотреться к материнке от MSI:
MSI Z77A-G45 - карта имеет аж 7 слотов PCI-E, правда одновременно могут быть задействованы лишь 6 слотов, цена её несколько выше 100$, но менее 140$. нет смысла брать gaming версию, хватит и обычной для майнинга...
Отдельного внимания заслуживают новые платы от Asrock разработанные специально для манинга:
ASRock H81 Pro BTC и H61 Pro BTC - которых на момент написания статьи пока нет в продаже в России. Карты имеют доп. питание молекс которое идёт на разъёмы PCI-E, чем обеспечивается лучшая стабильность всей системы и допускается установка карт отличных от 7ххх серии.
Как появятся у нас куплю парочку...
Специально не привожу тут топовые дорогие материнки с 6-7 слотами, так как дороговизна матери снижает рентабельность и повышает срок окупаемости фермы, хотя если есть деньги - можете потратится на более дорогую мать (хотя никакой целесообразности для меня по крайней мере в этом нет).
Платформу AMD обхожу стороной, так как потребление от процев интел существенно ниже, а мощности у нас предел 1500-1600Вт. с одного БП.
г) память.
Не скупитесь, для крипт нужно достаточно оперативы, для вынь 7х64 надо не менее 2х4Гб. (у меня стоит 2х8Гб. на прочие нужды - работа с гигабитными словарями для брута)
д) HDD, SSD - Выбор не критичен, главное надёжность, у меня стоит SSD 128 (система) + 2x500гб HDD (для других дел...) Реально хватит любого винта на 80Гб. для манинга.
e) райзеры (удлинители PCI-E) - достаточно 1х161x
А лучше иметь комплект 1x161x + 1x1x:
- закажите в интернете из китая, когда придут - проверьте качество пайки, цена вопроса 7-8$ за шт. Райзеры берите с запасом сразу на вторую ферму, т.е. 10-12 шт. либо комлектов. Ибо ждать посылку с китая долго (мне пришлось около месяца). Если есть в продаже тут - то можно в прок не покупать.
7) Выбор дополнительного БП Раз мы расчитываем ферму на 6 карт, то придётся позаботится о доп. источнике питания (втором) так как на данный момент нет ни одного блока питания, который может обеспечить по каналам 12В. нужный ток при майнинге и разгоне для 6 карт. Расчёт тут прост: берём по 300Вт. на карту (запас тут не помешает, в случае если Вы захотите поставить более мощные карты R290х или со временем модернизировать ферму). Итого получаем 300х4=1200Вт. по каналу 12 В. один БП, т.е. ток будет до 100А на первом (основном БП) и второй БП 300х2=600Вт. Таким образом к нашему 1500Вт (к которому 5-ю карту подключить проблематично, хотя и возможно) нужно добавить БП мощностью не менее 600Вт. (лучше 700-750Вт.) с как минимум двумя выходами на доп. питание GPU (почему оно называется до сих пор дополнительным - оно на самом деле основное ;-) )
Берите любой честный блок стандарта GOLD + чтоб он выдавал честные 600-700Вт. по каналу 12В. т.е. это будет БП-шник суммарной мощностью 700-750Вт. как раз...
8) Синхронный запуск и соединение двух БП
Проштудировав кучу информации в интернете пришол нескольким выводам:
1. Массы БП должны быть надёжно соединены (я использовал дополнительно медный провод соединив корпуса двух БП)
2. Никакие кроме минусовых (чёрных) проводов соединять не в коем случае нельзя (кроме зелёного, но об этом позже).
3. БП имеющие каждый одну физическую линию 12В. предпочтительней. БП с двумя физ. линиями или несколькими вирт линиями - это по сути как куча БП в одном БП - желательно не использовать такие, либо соединить все вирт. линии в одну (только в блоках с возможностью управления такими линиями программно!, например Corsair 1200i)
4. Дабы не портить провода БП нужно использовать спец. переходник pual psu коннектор:
Мне пришлось сделать его самому из разъёмов от двух "пап" питания от материнских плат и одной мамы от старого БП. Они соединяют чёрные провода БП и зелённый. Чёрных рекомендуется соединить не менее 5-6 шт. от каждого (дополнительный контакт минуса-земли не помешает).
При страрте материнской платы, запустятся оба БП одновременно. Минус такого решения, что при неисправности второго БП - первый не отключится (но в этом нет ничего страшного - так как питать он будет только 2 карты). При неисправности 1 БП отключится и второй БП так как ключ материнской платы разомкнёт цепь зелёный-чёрный на обоих БП.
Подробно о соединении можно почитать тут:
соедиение двух БП без лишения гарантии
Теперь от первого БП питаем материнскую плату, проц, hdd, куллера и 4 видеокарты, от второго только 2 карты, хотя для некоторых БП желательно нагрузить канал 5В. чем-то (куллер хотя бы) чтоб по каналу 12В. была полная отдача (зависит от переходной характеристики 5В.-12В. конкретного БП)
[3] Сборка фермы
Сборка фермы аналогична сборке обычного ПК, а именно:
а) устанавливаем корпусные куллера внутрь каркаса (можно крепить на стяжках к ребрам фермы, можно как я по извращаться с поликорбанатом (резать дырки и установить их напротив них). Сам поликарбонат крепится с помощью уголков и саморезов на внешний периметр каркаса фермы (Я установил его на дно, по бокам и тыл где куллера, остались только две стороны не закрытые - фронт - разъёмы видеокарт и вверх для отвода тепла видеокарт). Закрытие фермы было обусловлено некоторой защитой от пыли и дождя и прочих неприятных погодных условий для установки фермы на балкон с открытой створкой для лучшего охлаждения. Если Вы не планируюте устанавливать ферму на балкон, то смысла в закрытии поликарбонатом боковых, торцевой стенки и низа под материнкой нет никакого. Если есть животные (особенно кошки - рекомендую всё же закрыть, чтоб кошак ненароком не залез внутрь фермы греться) Моя спит за фермой - там так же тепло, а внутрь залезть ей просто невозможно. :
б) устанавливаем в материнку проц и память.
в) устанавливаем БП (оба) в каркас и стаим материнку, подключаем кабели 4pin(8pin) CPU и 24pin АТХ материнки, куллера корпусные.
г) ставим собственно сами видеокарты, подключаем через райзеры, при недостатке длины подключаем через два райзера соединённых последовательно (обычно крайние карты слева от матери 2-3 шт. через двойные подключаются ибо длинны одного не хватает).
д) запитываем карты питанием 6&8pin PCI-E от блоков питания (4 карты от одного 1200-1500Вт и 2 карты от второго 700-750Вт.)
... продолжение ниже в постах.
Линейный вид
