Renderfarm Blog

REBUS Renderfarm Blog

Montag, 30.November 2009 by Ralph Huchtemann

Großrechner G3 (1960) von Konrad Zuse

Durch die Umsetzung eines neuartigen Konzepts und viel Entwicklungsarbeit ist es der deutschen Firma RebusFarm gelungen, ihre Renderfarm mit einer Gesamtkapazität von 2500 GHz über Pilug-ins direkt in der 3D-Software des Anwenders zu integrieren.

Wofür eine Renderfarm?

Eine kommerzielle Renderfarm bedient unterschiedliche Anwenderprofile, die sich in drei Grundtypen aufteilen lassen:

• Der Renderfarm Service fungiert als Lebensretter, falls eine Deadline nicht mehr eingehalten werden kann.
• Der Anwender plant eine Renderfarm ein, um Leistungsspitzen in Projektverläufen abzufedern, ohne zusätzlich eigene Hardware kaufen zu müssen.
• Der Service wird aus Kostengründen grundsätzlich als Ersatz für eine eigene Hardware genutzt.

Aus den genannten Szenarien leiten sich für eine Renderfarm Anforderungen bezüglich Liefergeschwindigkeit und Komfort ab. Der Kunde mit Verzug wird nicht bis zum nächsten Werktag auf ein Ergebnis warten wollen, während der Dauernutzer sicherlich nicht sich wiederholende und umständliche Übergaben der Projektdateien an die Renderfarm akzeptiert.

Bisherige Konzepte für Renderfarm Systeme

Der Markt unterscheidet sich bis dato in Renderfarm Systeme mit manuellen und halbautomatischen Projektübergaben.

Die manuellen Systeme können das Bedürfnis nach rascher Reaktion nicht befriedigen, schlimmstenfalls wird auf eine Anfrage erst am nächsten Werktag geantwortet. Ein zeitaufwändiger Bearbeitungsprozess der Kontaktaufnahme und Projektanpassung ist selbst im Idealfall notwendig.

Die halbautomatischen Systeme bieten ein Webinterface zur Abgabe der Projektdaten und versprechen einen sofortigen Start des Renderings. Die Realität sieht zumeist leider anders aus: Keines der Systeme ist in der Lage, Versionsnummern der ursprünglichen 3D-Anwendung und Renderengines eigenständig zu erkennen. Dies ist vor allem deswegen wichtig, da ein und die gleiche Projektdatei von jeder Softwareversion stark unterschiedlich gerendert wird: Böse Überraschungen sind vorprogrammiert. Zudem werden fehlende Plug-ins und Texturen nicht erkannt, der kostenpflichtige Renderprozess wird nichtsdestotrotz eingeleitet.

Das Farminizer Konzept

Konzept REBUSfarm SoftwareKeines der bestehenden manuellen und halbautomatischen Systeme konnte uns überzeugen. Nach unserer Überzeugung und Erfahrung musste ein vollautomatisches System nach dem Prinzip schnell-sicher-sorgenfrei möglich sein.

Aus den oben erwähnten Überlegungen folgte für uns ein neuer und im Grunde nahe liegender Ansatz: Das Projekt des Users muss in seiner 3D-Anwendung durch ein Farminizer Plug-in auf Vollständigkeit und Kompatibilität zur Renderfarm geprüft werden. Hier sind schließlich noch alle Informationen über das Projekt verfügbar. Das Projekt wird vom Faminizer Plug-in an einen Render-Manager übergeben, der das Rendering auf der Renderfarm verwaltet.

Das Farminizer Plug-in führt im Hintergrund diverse Anpassungen am Projektfile durch. Andererseits kann das Plug-in Informationen über Einstellungen des Betriebssystems, Versionen der 3D-Software und der Renderengine sammeln, um die Renderfarm automatisch an den User anzupassen. Renderfarm und Projekt kommen sich sozusagen auf halbem Weg entgegen. Dadurch kann eine optimale Konformität gewährleistet werden und fehlerhafte Renderings auf der Renderfarm werden ausgeschaltet. Prinzipiell gilt: Erteilt das Plugin den Zuschlag, wird das Projektfile auf der Renderfarm korrekt gerendert. Fehlerhafte Renderings sind nicht möglich. Ein Novum.

Darüber hinaus wird das Projekt vor dem Rendering auf die gängigsten Anwenderfehler abgeklopft und schützt den Kunden vor unnötigen Kosten.

Das Farminizer Plug-in erzeugt ein Zipfile und exportiert es zum Renderfarm-Manager. Dieser lädt das Projekt hoch, startet das Rendering und speichert die Ergebnisse in dem lokalen Ausgabeordner beim Anwender ab.

Der Renderfar- Manager ist eine Mischung aus FTP-client und Renderfarm-Monitor. Er nimmt zudem Projektfiles weiterer 3D-Anwendungen über die Importfunktion auf, die selber zur Renderfarm konforme Projektfiles erzeugen können. Der Renderfarm -ervice wird somit durch die Unterstützung von Maxwell, Fryrender und Vue abgerundet.

Die Entwicklung

Da wir von Anfang an alle bekannten Software-Pakete unterstützen wollten, mussten für 3dsmax, maya, cinema4D und XSI Plugins entwickelt werden.

Wir begannen mit der Umsetzung des Farminizer Plug-ins für 3dsmax, da es durch seine früh eingeführte Öffnung für Entwickler über die größte Vielzahl an Plugins von Drittanbietern verfügt. Der gepflegte Wildwuchs von 3dsmax sollte die harte Nuss in der Programmierung unseres Systems werden.

Später erkannten wir, dass die Algorithmen aus dem Farminizer Plug-in von 3dsmax zwar größtenteils auf die anderen Plug-ins für C4D, maya und XSI übertragbar sind, die Architektur und die Arbeitsgewohnheiten der Anwender der Applikationen jedoch eine große Anpassungsarbeit erfordern.

Der sich anschließende Renderfarm-Manager setzt die Forderung an Komfort und Liefergeschwindigkeit weiter konsequent um. Eines der Highlights ist die One-Click-Technologie, die – auf Wunsch - das Projekt vollautomatisch bearbeitet, bis die Renderings im lokalen Zielordner des Anwenders liegen.

Die operative Programmierung der Software wurde von der Softwareschmiede at2 übernommen. Das erfahrene Team nahm unermüdlich eine Hürde nach der anderen und machte das ambitionierte Projekt erst möglich. So entstand ein skalierbares System, das sich auf beliebige 3D-Applikationen, Rendermaschinen und Plattformen ausweiten lässt. Das Softwarehaus ist in Cinema-4D-Kreisen durch seine Plugins SPLURF, enDOFin und Reference Shader bekannt und konnte zusätzlich seine Anwendererfahrung aus Cinema4D einfließen lassen.

Advantages for the user

What came out was a robust, practice oriented application, which makes the user’s life with the Render Farm a lot easier, due to several features which make the Render Farm basically invisible. Now the user doesn’t have to worry about texture- and outputpaths, proxies, GI-maps, XRef- and HDRIfiles, plug-ins, complicated FTP-client set-ups and hundreds of other little things. So far only very simple projects could be rendered without the Render Farm operator or the user taking action. Now the Farminizer-software allows for a maximum of reliability and delivery speed, even with highly complex rendering projects. The REBUSfarm-Farminizer sets up a seamless link to the Renderfarm and brings a capacity of 18,000 GHz to the user’s desktop. Except for the increased rendering speed it won’t feel different from a local rendering.

Ausblick

Workflow – die unsichtbare RenderfarmLetztlich entstand eine robuste und praxisorientierte Software, die dem Anwender das Leben mit der Renderfarm mit einer Vielzahl von Features erleichtert, sie geradezu unsichtbar werden lässt. Der Anwender muss sich nun keine Sorgen mehr machen um Textur- und Ausgabepfade, Proxies, Gimaps, Xref - und HDRI Dateien, Plugins, komplizierte FTP Client Einrichtung zum Up- und Download und hunderte anderer kleiner Dinge.

Bisher konnten nur sehr einfache Projekte ohne Eingreifen der Renderfarm-Operatoren und des Anwenders gerendert werden. Die einzigartige Farminizer Software kann hingegen ein Höchstmaß an Zuverlässigkeit und Liefergeschwindigkeit selbst für sehr komplexe Renderprojekte bieten.

Die RebusFarm Farminizer-Software vollzieht eine nahtlose Anbindung der Renderfarm an den User und bringt eine Leistung von 2500 GHz auf den Desktop des Anwenders. Für den Anwender ist bis auf den bekannten Geschwindigkeitsvorteil kein Unterschied zum lokalen Rendering spürbar.

Praxis

Das neue Renderfarm-Konzept gibt der 3D-Community einen kräftigen Impuls. Viele bereits aus der Renderfarm-Branche vollmundig gegeben Versprechungen werden nun erst eingelöst und erleichtern die Arbeit der 3D-Studios jeglicher Größe.

Es ist zu erwarten, dass der Markt für externe Renderfarms weiter wächst, sich allerdings auf immer weniger Anbieter konzentriert. RebusFarm sieht sich mit der Farminizer Software als technologischen Marktführer bestens gerüstet.

A render farm inside the desktop

Monday, November 30th, 2009 by Ralph Huchtemann

Supercomputer G3 (1960) by Konrad Zuse

By realizing a new concept and utilizing a lot of development time the German company RebusFarm managed to integrate their 18,000 GHz renderfarm directly into several 3D-packages – through the use of plugins.

A commercial render farm serves different user profiles, which can be separated into three categories:

• It’s a saviour when a deadline can’t be met otherwise
• The user includes the renderfarm in his budget to take the edge off of peaks without the need to purchase new hardware
• Due to costs the rendering service is used constantly instead of the own hardware

The aforementioned settings dictate the demands a render farm has to meet in terms of delivery-speed and user-friendliness. The customer who is behind schedule won’t wait until the next day for his results, while the regular won’t put up with repetitive and cumbersome submission procedures to the render farm.

Previous concepts for render farm systems

To date the market differentiates between render farm systems with manual and semi-manual project-submission. The manual systems can’t fulfil the demand for a quick response, the worst case being that the response takes until the next day. Even in an ideal case a time-consuming process of establishing contact and adjusting the project is required. Semi-automated systems offer a web interface for the render job submission, which promise an immediate rendering start on the project. Unfortunately, most of the time the reality is a bit different: none of the systems are able to identify version numbers of the 3D-software and their rendering engine. This is very important, as one and the same project file tends to render differently on different software versions – bad surprises are inevitable. Furthermore missing plugins and textures aren’t recognized, while the costly rendering process is launched anyway.

The Farminizer concept

The RebusFarm software concept

None of the existing manual and semi-manual systems were able to convince the operators of RebusFarm. Based on the developers’ own demands end expertise, a fully automated service based on the fastsafe-carefree principle had to be possible. The aforementioned ideas led to a new and basically obvious approach: the user’s project had to be checked for completeness and compatibility inside his 3D-software via a plugin - the only place where all information about the project is still available. The Farminizer plugin submits the job to a rendering-manager, which administrates the job to the render farm. In the background the Farminizer plugin performs several adjustments to the project file, while also collecting information about the software versions and rendering engines, to match the render farm to the user. Basically the render farm and the project meet halfway. This ensures optimal conformity while disabling incorrect renderings on the render farm. The general rule: If the plugin submits the job, the project file will be rendered correctly on the render farm. Incorrect renderings are impossible: A novelty. Furthermore the project will be checked for popular user-errors before submission, sparing the user unnecessary costs. The Farminizer plugin generates a Zip-file and exports it to the render farm manager, which uploads the project, launches the rendering process and saves the rendered images in the user’s local output folder. The render farm manager is a combination of FTP-client and rendering-monitor. Added to that, it allows the import of project files from other 3D-applications which are able to export render farm compatible projects on their own. Thus the rendering service is topped off by supporting Maxwell.

Development

Since all known software packages had to be supported from the start, individual plugins had to be developed for 3ds Max, Maya, Cinema 4D and Softimage|XSI. It started in 2009 with the realization of the Farminizer plugin for 3ds Max, since it offers the biggest number of third-party plugins due to its early support for developers. It turned out that the Farminizer’s algorithms for 3ds Max can be translated to the other plugins like Cinema 4D, Maya, Lightwave, Softimage|XSI and Modo for the most part, but still, the individual software architectures and user workflows for the different applications asked for a lot of adjustments. The connected render farm manager kept growing with regards to comfort and speed. One of the highlights is the One-Click-technology, which allows a full automated handling of the project, until the rendered files can be found in the user’s local output folder.

The operative programming of the software was realized by at2. The experienced team tirelessly tackled one obstacle after the other to make the ambitious project possible at all. This resulted in a scalable system, which can be extended upon further 3D applications, rendering engines and software platforms. Amongst the Cinema 4D community the software developer is well-known for its plugins /SPLURF/, /enDOFin/ and /ReferenceShader/, and they were able to incorporate their Cinema 4D expertise into the project.

Advantages for the user

What came out was a robust, practice oriented application, which makes the user’s life with the render farm a lot easier, due to several features which make the renderfarm basically invisible. Now the user doesn’t have to worry about texture and output paths, proxies, GI-maps, XRef- and HDRIfiles, plugins, complicated FTP-client set-ups and hundreds of other little things. So far, only very simple projects could be rendered without the render farm operator or the user taking action. Now the Farminizer software allows a maximum of reliability and delivery speed, even with highly complex rendering projects. The RebusFarm Farminizer sets up a seamless link to the render farm and brings a capacity of 18,000 GHz to the user’s desktop. Except for the increased rendering speed it won’t feel different from a local rendering.

In practice

The Farminizer plugin

The Farminizer software can be downloaded for free on the RebusFarm website and installs the Farminizer plugin as well as the render farm manager. The rendering can be started right away with a free trial. Operating expenses are calculated in GHzh, which is the equivalent of renting one CPU-core with 1 GHz for 1 hour. Of course, a modern CPU consists of several cores with more GHz. The Farminizer plugin is integrated into 3ds Max, Maya, Cinema 4D and Softimage|XSI according to their individual workspaces. In 3ds Max, for example, you can run the plugin via the dropdown-menu “Rendering”-“Render with RebusFarm…” Usage of the Farminizer  software turned out to be very useful, that the developer’s own production unit REBUSmedia utilizes it to submit their projects to the render farm. The user profits from a rendering speed over 600 times compared to a modern PC. To be more concrete: A rendering which would normally take 25 days to complete can be found in the user’s output folder after 1 hour.

Prospects

The new render farm concept gives new impetus to the 3D-community. A lot of the promises given by the render farm industry are fulfilled and simplify the work of 3D-studios of any size. It can be expected that the market for external render farms keeps growing, although the focus will be narrowed down to only a few suppliers. RebusFarm, as the technological market leader with their Farminizer software feel well equipped for things to come.

Art Wanted! Featuring Daniel D'Avila

Wednesday, November 22nd, 2017 by Julian Karsunky

“Irasshaimase!” and welcome, everybody. On today’s menu: ‘Fresh Hosomaki’, thin rolls of sushi, expertly prepared and served by acclaimed Brazilian 3D artist Daniel D’Avila. Exhibiting the same diligence and craftsmanship as a Japanese chef, his varied work is appreciated by gourmets of the digital arts and business clients alike. Following a long and illustrious career in advertising, Daniel now successfully manages his own studio, which works for global players such as Nestlé, Samsung, Nissan and MasterCard.

If the image above has whet your appetite, continue reading to find out more about Daniel D’Avila’s background and range of expertise.

Weiterlesen ...