2015-09-06 19:52:23
Ceph Hackathon - Hillsboro, OR

W pierwszej połowie sierpnia wsiadłem w samolot i poleciałem sobie do USA na Ceph Hackathon, z jednej strony by reprezentować pracodawcę, z drugiej, by zobaczyć na żywo Stany Zjednoczone, a z trzeciej, by poznać bliżej ludzi odpowiedzialnych za Cepha. Główny architekt projektu, Sage Weil, nie mógł się zjawić fizycznie, ale mieliśmy okazję z nim pogadać i tak. Ogółem jestem zadowolony, aczkolwiek to nie był taki "prawdziwy" hackaton - relatywnie mało brakowało, by skończyło się na marketingowym pianiu z zachwytu nad sprzętem Intela (który sponsorował imprezę), na szczęście do tego nie doszło. Poza tym, teraz oficjalnie Intel mnie nie lubi. ;)

Cała historia zaczyna się w mniej-więcej maju, gdy szefostwo podejmuje decyzję o wysłaniu mnie za Wielką Kałużę. PRZYGOOODAAA!!! ;-) Trochę stres, bo nie miałem ani paszportu, ani wizy - a jedno i drugie załatwia się osobno. Z paszportem poszło gładko, gorzej z wizą. Jeżeli ktoś uważa, że Polska to kraj pełen biurokracji, zdecydowanie powinien przyjrzeć się procesowi wnioskowania o wizę amerykańską. Mało tego, w formularzach należy podać swoje dane osobowe, miejscami dość dokładne (np. dwóch poprzednich pracodawców), co moim zdaniem jest bezczelne, no ale z argumentami typu "wojna z terroryzmem" i "ochrona mieszkańców USA przed terrorystami" nie ma co walczyć, to bezcelowe. Poza tym, jeśli ktoś nie ma konkretnego celu wjazdu do stanów, albo ma coś na sumieniu, powinien się przygotować na długą i podchwytliwą rozmowę w ambasadzie USA - mi wystarczyło 5 minut, ale rodzinkę obok "maglowali" dobre pół godziny. Zresztą, na lotniskach też będą traktować jak potencjalnego terrorystę i np. kwestionować istnienie firm Red Hat i Intel (pozdrawiam kretynów pracujących na lotnisku w Amsterdamie), więc jeśli ktoś nie musi - zdecydowanie odradzam wylot do stanów. Lepiej jechać do Wielkiej Brytanii, bliżej, też gadają po angielsku, a do tego nie trzeba pieprzyć się z wizami.

Lot był średni, inna sprawa że ok. 12h w samolocie nie ma prawa być przyjemne. I o ile lot do stanów był w miarę OK, to ze stanów był już katorgą, głównie za sprawą hamerykańców, którzy uznali, że w Europie wynalazek zwany potoczne "małym dzieckiem" jest czymś niezwykłym i zdecydowanie należy się nim pochwalić. A małe dziecko + 9h lotu = ~9h płaczu. Na szczęście wziąłem swoje magiczne słuchawki, więc ostatecznie dało się przeżyć - następnym razem jednak będę wnioskował o klasę biznesową.

Hillsboro w stanie Oregon (niedaleko Portland) to mała i spokojna mieścina, widać że mało tam się dzieje i generalnie trudno o jakieś straszne historie. Generalnie jest tam ładnie i czysto, ale nie ma mowy o jakimś szoku na miarę tego, co pokazują w filmach. Amerykanie sami w sobie są całkiem przyjaźni i otwarci, i nie bluzgają co chwila - nawet w pubach. A w sklepach sprzedawcy i obsługa są naprawdę mili i fajni - i nie traktują klienta jako zło konieczne, inna sprawa że sami klienci są sensowniejsi (nie ma np. awanturowania się przy kasach, nawet jeśli ktoś z jakiegoś powodu się guzdra). Sprzedawcy też są bardziej rzeczowi - tamtejsi po prostu wiedzą, że gdy klient dostanie (prawie) od razu to co potrzebuje, to jest zadowolony i wróci. My, niestety, jesteśmy na etapie nachalnego sugerowania 16GB pendrive'ów przy zakupie patelni (pozdrawiam panią z Saturna). Nawet gdy kupowałem simkartę do telefonu by nie płacić 1,5$ za minutę rozmowy, to nie zostałem zasypany pierdylionem starterów i tekstem "wybierz se pan" - babka zapytała mnie, do czego mi to i od razu zasugerowała najtańszą opcję. W Polsce nie do pomyślenia. Podobnie nie do pomyślenia historia zadziała się w hotelu - mogłem korzystać z darmowego podwiezienia w promieniu 5 mil od hotelu (w obu kierunkach). Zapytałem więc, czy po wymeldowaniu się mógłbym z tego skorzystać. Odpowiedź pani? "Sure, I don't see why not!". U nas robiliby miny i kazaliby jeszcze zabulić ekstra. ;)

Sam Hackathon zaczął się od marketingowego piana z zachwytu nad "hojnością" Intela względem społeczności rozwijającej Cepha, czyli ufundowaniu czterech serwerów z ich procesorami i ich dyskami SSD. Przekaz był jasny - i zarówno ja, jak i kolega z SanDiska, mocno się przy tym skrzywiliśmy. ;) Po czym po krótkim zapoznaniu się ze sobą, powymyślaliśmy sobie tematy do rozmowy/pracy, rozdzieliliśmy się na zespoły i zabraliśmy się do roboty.
Niestety, struktura budynku w którym odbywał się Hackathon (Intel Executive Briefing Center) nie służyła nam. To jest dobre miejsce na dyskusje (które toczyliśmy oczywiście), ale do pracy jako takiej już nie. W efekcie niektórzy śmiali się, że to był Designthon, a nie Hackathon. ;) Na koniec dnia podsumowanie i wszyscy rozjeżdżają się do hoteli.

Kolejne dni upływały na mniej-więcej tym samym. Mimo, że niemal każdy przyjechał w celu przeciągnięcia Cepha na swoją stronę, to nie było jakiejś atmosfery walki czy nawet współzawodnictwa... Może z wyjątkiem Intela. Zarówno Sandisk, Intel, jak i Mellanox chcieli zoptymalizować Cepha pod swoje produkty - ale i tak najwięcej wąskich gardeł i problemów wydajnościowych jest na ścieżkach wspólnych dla wszystkich, więc wszyscy idą raczej w kierunku współpracy niż konkurencji. Intel tutaj wybija się trochę, bo mimo wszystko w jego interesie jest, by Ceph chodził jak najlepiej na ichnich serwerowych procesorach i PCIe-owych dyskach SSD, więc robią wszystko, by Ceph jak najlepiej wykorzystywał CPU (na zasadzie obciążania go; vide PRka #5211), więc gdy zaaplikowałem jeden z pierwszych patchy z serii #5534 i udowodniłem, że każdy rodzaj klasy obsługującej komunikację zyskuje na wydajności (o ok. 3%; ku radości Vu Phama z Mellanoxa, bo ich XIO Messenger też tyle zyskał, a przy 64kB zapisach nawet dużo więcej), a opracowany przez Haomai Wanga Async Messenger jest przyszłością Cepha, to Intel na mnie naskoczył z serią pytań w rodzaju, czy aby na pewno jest to konieczne, czy dobrze zmierzyłem, etc, etc. No cóż, nie byłem zaskoczony... Oni dalej są na etapie miniklasterków z czterema node'ami, jeden OSD każdy, więc nie widzą problemów widzianych np. przez samego Red Hata, gdzie testują na klastrach z 50-ma node'ami (albo i więcej).

Rozmawiałem z różnymi ludźmi, posłuchałem o ich projektach, dowiedziałem się paru interesujących rzeczy, ale i tak najlepsze było ostatniego dnia. Okazało się bowiem, że największy zysk wydajności daje wymiana menedżera pamięci. Używany obecnie TCMalloc, mimo że i tak jest lepszy od tego, co oferuje Glibc, z Cephem źle działa. Po prostu. Próba z Jemallocem skończyła się pozytywnie (do 4,5x IOPSów więcej), ale za cenę zwiększonego użycia pamięci. No cóż. Trzeba więc usprawnić obsługę pamięci w Cephie. Intel oczywiście niezadowolony, bo ich optymalizacje SimpleMessengera w tym momencie są zmarnowanym czasem (Async Messenger znacznie lepiej wykorzystuje pamięć i nie produkuje pierdylionów wątków), ale sami są sobie winni.
Kolejną fajną rzeczą był pokaz tego nad czym pracuje Intel i chce wykorzystać w Cephie - jedno to PMStore, nowy mechanizm przechowywania danych w Cephie, który jest zoptymalizowany pod ichnie SSDki. Co prawda zajeżdża pamięć RAM wykorzystywaniem plików odwzorowanych i nie przechodzi (jeszcze) testu power-cycle (odpalamy program, każemy mu coś robić, odcinamy prąd, po chwili podłączamy prąd, włączamy i patrzymy czy przeżyło), bo dopiero na hackathonie uświadomieni zostali o istnieniu takiego ustrojstwa, ale IOPSów ma OVER 9000!!!!
Drugą rzeczą był CeTune, czyli wynalazek do automatycznego tuningowania Cepha. Zasada działania prosta, stawiamy klaster, mierzymy wydajność, zmieniamy parę parametrów, znowu mierzymy wydajność, patrzymy co się zmieniło. Dużo wykresów i świecidełek, no i ma działać automatycznie, ale ja mam wątpliwości. Intel znowu do tego zatrudnia chińczyków, przypuszczalnie podobnych do tych, co pisali Intelowego Virtual Storage Managera (który okazał się... słaby), więc nie wróży to dobrze tym bardziej, że nie pokazano nic "żywego" - parę screenów w jednej prezentacji. No ale może kiedyś toto ujrzy światło dzienne i MOŻE nie skończy jak VSM...

Ogólnie, dla mnie impreza była udana, zawsze miło poznać "na żywo" ludzi, z którymi się na co dzień współpracuje tylko przez mail, IRC, GitHub i BlueJeans. Ze Stanów wróciłem nieco mądrzejszy i wygląda na to, że postawiłem swojego pracodawcę w dobrym świetle, przy okazji zapewniając trochę wskazówek, w którym kierunku powinniśmy się udać w kwestii naszych produktów. Intel nieco się skompromitował, ale chyba każdy się tego spodziewał. A inne firmy? Każdy ma jakiś własny interes względem Cepha, ale wszyscy pracują na jednym kodzie i swoją pracą zazębiają się o pracę innych.


Może Cię zainteresować...

Powered by:
Hellcore Mailer - polski program pocztowyOpera Web BrowserFreeBSD - The Power to Serve!Slackware
RSSy:
Sidekick:
Projekty:
O autorze:
Zobacz:
Kategorie:
Archiwum:
Szukaj: