YAHOO DOŁADOWUJE TENSORFLOW Z ISKRĄ APACHE - TECHCRUNCH - MEDIA SPOŁECZNOŚCIOWE - 2019

Anonim

Yahoo, model Apache Spark, obywatel i programista CaffeOnSpark, który ułatwił programistom budującym modele głębokiego uczenia się w Caffe na skalę równoległą, otwiera nowy projekt o nazwie TensorFlowOnSpark. Połączenie Spark i TensorFlow powinno sprawić, że ramy głębokiego uczenia się będą bardziej atrakcyjne dla programistów, którzy tworzą modele, które muszą działać w dużych klastrach komputerowych.

Dla tych, którzy zostali wyłączeni podczas boomu na duże zbiory danych, Apache Spark jest platformą open source zaprojektowaną w celu zwiększenia wydajności przetwarzania równoległego. Podążając za narzędziami takimi jak Hadoop, Spark umożliwił firmom takim jak Netflix przetwarzanie ogromnych ilości danych użytkownika w celu oferowania zaleceń na dużą skalę.

Systemy uczenia maszynowego, takie jak TensorFlow i Caffe firmy Google, pomagają tworzyć modele głębokiego uczenia się bez rygorystycznego zestawu umiejętności specjalisty od uczenia maszynowego. Biblioteki open source istnieją na wyższym poziomie abstrakcji, które umożliwiają programistom tworzenie modeli bez zagubienia się w chwastach na nowo odkrywających koło.

Oczywiście, Spark i uczenie maszynowe idą w parze. Głębokie uczenie się w szczególności opiera się na dużej ilości mocy obliczeniowej jako kuli. Yahoo stworzył CaffeOnSpark na własny użytek. Ale mieszanie Caffe i Spark przyniosło korzyści tylko części społeczności uczącej się maszyn. TensorFlow pozostaje najpopularniejszym frameworkiem, więc Yahoo zdecydowało się połączyć to samo z parą i mam nadzieję, że po drodze wzbudzi szacunek dla programistów.

Czas na aktualizację: jak wygląda krajobraz biblioteki głębokiego uczenia się, widziany z GitHub? pic.twitter.com/QDZyvLrYBd

- François Chollet (@fchollet), 11 lutego 2017 r

Yahoo zbadało istniejące narzędzia, takie jak SparkNet i TensorFrame, aby wypełnić lukę między TensorFlow i Spark, ale ostatecznie zdecydowało, że mogą zrobić to lepiej. Rezultatem jest narzędzie, które umożliwia programistom szybkie modyfikowanie istniejących programów TensorFlow w celu pracy z TensorFlowOnSpark.

Struktura głębokiego uczenia się jest dziwnie plemienną rzeczą wśród programistów. Skimind's Deeplearning4j to framework open source napisany dla Java z integracją Spark, ale biblioteka ostatecznie zajmuje szóste miejsce pod względem popularności. Z kolei MXNet jest znany ze swojej zdolności skalowania na wielu procesorach graficznych. To właśnie ta umiejętność przyciągnęła Amazonę i ostatecznie pomogła MXNet stać się częścią inkubatora Apache.

Chociaż TensorFlowOnSpark został otwarty, Yahoo ma plany dalszego ulepszania tego narzędzia. Jeśli chcesz go przetestować, możesz uzyskać wszystko na Yahoo GitHub.