Google Vertex AI Studio angetestet

Mit Vertex AI Studio verspricht Google ein umfassendes Generative-AI-Toolkit.
Foto: jamesteohart | shutterstock.comAuch Google hat ein Cloud-basiertes KI-Toolkit im Programm. Vertex AI Studio verspricht ein umfangreiches KI-Modellportfolio, unkomplizierten Support für “Dinge” wie Retrieval Augmented Generation (RAG) sowie diverse andere, interessante Funktionen. Wir haben uns eingehend mit Googles Generative-AI-Baukasten beschäftigt.Was ist Google Vertex AI Studio?Vertex AI Studio ist ein Tool für die Google-Cloud-Konsole, um Generative-AI (GenAI) -Modelle zu erstellen und zu testen. Die Onlineumgebung ermöglicht Ihnen außerdem, Prompts zu entwerfen und KI-Modelle auf die Anforderungen Ihrer Applikationen abzustimmen. Dabei setzt Vertex AI Studio auf eine Vielzahl proprietärer und quelloffener KI-Modelle und stellt zudem vortrainierte APIs für diverse Einsatzzwecke bereit. Diese können sowohl über die Google-Cloud-Konsole als auch über APIs für Python, Node.js, Java und Go eingesetzt werden. Über Vertex AI Extensions können die KI-Modelle zudem mit Echtzeit-Daten und -Vorgängen verknüpft werden. Allerdings befindet sich letztgenanntes Feature aktuell noch in der (Private) Preview.Folgende proprietäre LLMs von Google stehen in Vertex AI Studio (unter anderem) zur Verfügung: Gemini PaLM 2 Codey Imagen MedLMIm weiteren Verlauf dieses Artikels werfen wir einen detaillierten Blick auf diese und weitere KI-Modelle in Vertex AI Studio.Zu den Konkurrenz-Produkten für Vertex AI Studio gehören zum Beispiel: Amazon Bedrock, Azure AI Studio, LangChain/LangSmith, LlamaIndex, GPT Builder sowie Poe.Ein Blick auf die Konsole von Vertex AI Studio.
Foto: Martin Heller | IDGMultimodale GenAI-Demo: Gemini (Pro Vision) kann den Text auf dem Bild trotz des “künstlerisch wertvollen” Fonts erkennen.
Foto: Martin Heller | IDGWie Sie dem nachfolgenden Screenshot entnehmen können, gestaltet sich der generative KI-Workflow in Googles Vertex AI Studio etwas komplizierter als “Input rein, Output raus”. Googles Responsible-AI-Bemühungen und Sicherheitsfilter gelten sowohl für Inputs als auch Outputs und sollen die Nutzer vor schadhaften Prompts respektive Antworten schützen.Der GenAI-Workflow in Google Vertex AI Studio.
Foto: GoogleDas Foundation-Modell, das die Query verarbeitet, kann vorab trainiert oder angepasst werden. Dabei können diverse, verschiedene Methoden zur Anwendung kommen, die relativ zeitaufwändig sind. Wenn es erforderlich ist, ein KI-Modell mit Hilfe von Retrieval Augmented Generation zu “erden”, läuft das im Rahmen des Generative AI Workflow ab.Vertex AI Studio konfigurierenUm RAG zu aktivieren, müssen Sie in Vertex AI Studio ein paar Schritte vornehmen:Zunächst ist das “Onboarding” bei Vertex AI Search and Conversation zu absolvieren. Das ist mit ein paar Klicks und wenigen Minuten Wartezeit erledigt.Anschließend gilt es, einen AI Search Data Store aufzusetzen. Das kann durch Website-Crawling, Datenimporte aus BigQuery-Tabellen und Cloud-Storage-Buckets (PDF-, HTML-, TXT-, JSONL-, CSV-, DOCX- oder PPTX-Formate) oder einen API Call erfolgen.Last, but not least sind ein Prompt und ein KI-Modell nötig, das RAG unterstützt (zum Beispiel PaLM 2). Dieses muss so konfiguriert werden, dass es den AI Search and Conversation Data Store nutzt.Wenn Sie die Vertex AI API verwenden, befindet sich dieses Setup im groundingConfig-Abschnitt der Parameter:{ "instances": [ { "prompt": "PROMPT"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "topP": TOP_P, "topK": TOP_K, "groundingConfig": { "sources": [ { "type": "VERTEX_AI_SEARCH", "vertexAiSearchDatastore": "VERTEX_AI_SEARCH_DATA_STORE" } ] } }Wenn Sie die Konsole von Vertex AI Studio nutzen, finden Sie die Einstellung im erweiterten Bereich der Prompt-Parameter – wie im nachfolgenden Screenshot zu sehen.Die Option “Enable Grounding” kann (bei entsprechend kompatiblem LLM) aktiviert werden.
Foto: Martin Heller | IDGIm Regelfall lohnt sich die Überprüfung, ob ein bestimmtes Modell “geerdet” werden muss.
Foto: Martin Heller | IDGProprietäre KI-Modelle in Vertex AI StudioEin bedeutender Teil des Mehrwerts, den Vertex AI Studio verspricht, steht mit den proprietären Large Language Models von Google in Zusammenhang. Die wichtigsten im Überblick:Gemini steht als Googles “Vorzeige”-LLM in Vertex AI Studio in verschiedenen Versionen zur Verfügung, dem laut Google performantesten Modell Gemini Pro sowie Gemini Pro Vision und Gemma.Imagen 2 soll “einen bisher nicht dagewesenen Grad an Fotorealismus und ein tiefes Sprachverständnis” aufweisen. Das Text-zu-Bild-Diffusionsmodell von Google Brain Research konkurriert unter anderem mit DALL-E 3 und Midjourney 6.Chirp ist eine Version eines universellen Sprachmodells, das über 2B Parameter verfügt und über 100 Sprachen transkribieren kann. Es ist zudem in der Lage, Audiosprache in formatierten Text umzuwandeln, Videos mit Untertiteln zu versehen und Audioinhalte für die Entitätsextraktion und Inhaltsklassifizierung zu transkribieren.Codey steht ebenfalls in verschiedenen Versionen zur Verfügung. Zum Beispiel für die Vervollständigung von Programmcode (code-gecko), die Code-Generierung (code-bison) oder den Chat über Code (codechat-bison). Die Codey-APIs unterstützen diverse Programmiersprachen – etwa Go, GoogleSQL, Java, JavaScript, Python und TypeScript. Codey konkurriert unter anderem mit GitHub Copilot, CodeLlama, ChatGPT Coding und CodeWhisperer und anderen LLMs, die für die Programmierarbeit konzipiert sind.PaLM 2 steht in Versionen für Text (text-bison und text-unicorn), Chat (chat-bison) und sicherheitsspezifische Aufgaben (sec-palm, derzeit nur auf Einladung) zur Verfügung. Das größte PaLM-2-Modell text-unicorn, zeichnet sich durch seine Eignung für komplexe Aufgaben wie Codierung und Chain of Thought aus.Embedding-Modelle stehen in Google Vertex AI Studio für Text-Tasks (texttembedding-gecko und textembedding-gecko-multilingual) und multimodale Aufgaben (multimodalembedding) zur Verfügung. In Kombination mit einer Vektordatenbank (Vertex AI Search) ermöglicht das, semantische Suchen, Ähnlichkeitssuchen sowie RAG zu implementieren.Die multimodalen KI-Modelle in Vertex AI Studio in der Übersicht.
Foto: Martin Heller | IDGDer Vertex AI Model GardenAbgesehen von den proprietären KI-Modellen von Google stehen über den sogenannten “Model Garden” von Vertex AI Studio (aktuell) rund 90 Open-Source-Modelle und knapp 40 aufgabenspezifische Lösungen zur Verfügung. Während Googles hauseigene KI-Modelle über die Vertex AI APIs, die Vertex-AI-Studio-Konsole und Google Colab verfügbar sind, sind die quelloffenen Modelle normalerweise über Colab Enterprise verfügbar und können als Endpunkt bereitgestellt werden (was erhebliche Gebühren nach sich ziehen kann). APIs werden auf Basis ihrer Nutzung abgerechnet.Zu den angebotenen Basismodellen gehören beispielsweise:Llama 2,Stable Diffusion v1-5,Claude 3 Sonnet (in der Preview),Claude 3 Haiku (demnächst) sowieClaude 3 Opus (demnächst).Zu den fein abstimmbaren Modellen gehören unter anderem:PyTorch-ZipNeRF (3D-Rekonstruktion),AutoGluon (tabellarische Daten),Stable Diffusion LoRA (Text-to-Image) sowieMoViNet Video Action Recognition.Prompts und Modell-Tuning in Vertex AI StudioGoogles Online-Tutorial zum Thema Prompt Engineering bietet einen umfassenden und im Allgemeinen herstellerneutralen Überblick darüber, was in Sachen Prompt-Design zu beachten ist.Im Folgenden sehen wir uns drei Prompt-Beispiele in Google Vertex AI Studio an – jeweils eines für multimodale, Text- und Bildverarbeitung.Dieser simple Prompt fragt vom Modell (Gemini Pro Vision) den Preis der im ersten Bild gezeigten Früchte ab. Dazu muss das handgeschriebene Schild im zweiten Bild gelesen werden. Die Aufgabe hat die KI erfolgreich absolviert.
Foto: Martin Heller | IDGAuf den ersten flüchtigen Blick könnte man meinen, dass es sich um Äpfel handelt.
Foto: Martin Heller | IDGAllerdings wird beim Blick auf das zweite Bild klar, dass es sich um asiatische Birnen handelt. Die Früchte auf diesem Bild sind unterschiedlich genug, damit sie nicht verwechselt werden – obwohl asiatische Birnen eher unkonventionell und in diesem Bild mit einem Schutznetz versehen sind.
Foto: Martin Heller | IDGIn diesem Text-Extraction-Beispiel weisen wir das Gemini-Pro-Modell an, die technischen Spezifikationen innerhalb eines Textkörpers im JSON-Format zu extrahieren. Das Beispielfeld in der Mitte bietet die Möglichkeit, One-Shot-Examples hinzuzufügen. Der gelieferte Ouput ist auch in diesem Beispiel korrekt.
Foto: Martin Heller | IDGIm Bildverarbeitungsbeispiel haben wir die KI (Gemini Pro Vision) gebeten, ein selbst erstelltes Foto mit Untertiteln auszustatten. Am Ergebnis gibt es wenig auszusetzen.
Foto: Martin Heller | IDGEs lohnt sich fast immer, zunächst mit Techniken des Prompt Engineerings zu arbeiten, um Basismodelle für die eigenen Zwecke anzupassen. Wenn dieser Schritt scheitert, dann bleibt die Option, das KI-Modell feinabzustimmen. Auch zu diesem Themenbereich bietet Google umfassende Online-Leitfäden – sowohl mit als auch ohne Vertex-AI-Studio-Bezug.Um KI-Text-Modelle feinabzustimmen, unterstützt Vertex AI Studio derzeit zwei Methoden: Supervised Learning und Reinforcement Learning on Human Feedback (RHLF).Google empfiehlt erstgenannte Methode für Klassifizierungs-Tasks, Sentiment-Analysen, die Zusammenfassung nicht komplexer Inhalte oder domänenspezifische Abfragen. RHLF ist hingegen dafür vorgesehen, (komplexe) Fragen zu beantworten sowie diffizilere Contents zusammenzufassen und zu generieren. Für KI-Modelle im Bereich Coding ist Supervised Learning die einzige Option. Wenn Sie den Bereich Feinabstimmung kostenlos testen möchten, können Sie das in Google Colab mit diesem Python Quickstart-Tutorial tun.Darüber hinaus ist es mit Vertex AI Studio auch möglich, Embedding-Modelle zu tunen und destillierte Text-Modelle zu erstellen. Letztere nutzen ein großes, leistungsfähiges “Teacher”-Modell und einen beschrifteten oder unbeschrifteten Trainingsdatensatz, um ein kleineres, aber genaueres “Student”-Modell zu trainieren.Wenn alle Prompt- und Feinabstimmungs-Stricke reißen, bleibt Ihnen noch die Option für fortlaufendes Pretraining. Das bringt den Vorteil mit sich, dass ungelabelte Daten verwendet werden – allerdings erfordert es eine ganze Menge von Beispielen und damit auch Zeit und Geld.










Google Vertex AI Studio – TestfazitMit Vertex AI Studio hat Google ein vielversprechendes Produkt auf die Beine gestellt, das potenziell ein starker Konkurrent für Amazon Bedrock und Azure KI-Studio ist.Zu den diversen Pluspunkten der Lösung gehört die Nutzung der Google-eigenen KI-Modelle, die schnelle Adoption und Bereitstellung neuer Modelle von anderen Anbietern sowie die unkomplizierte Unterstützung für RAG und Modelloptimierung. Weniger positiv ist hingegen, dass ein Großteil der Funktionen von Vertex AI Studio bislang nur eingeschränkt zugänglich ist. Das betrifft unter anderem das potenziell nützlichste Feature – die Generative AI Extensions.Wenn Sie bereits stark in die Google Cloud investiert sind, dann ist Vertex AI Studio eine naheliegende Option, um KI-Anwendungen zu erstellen – insofern Sie nicht auf Funktionen angewiesen sind, die noch nicht, respektive nur eingeschränkt zugänglich sind. Die Kosten für Vertex AI Studio richten sich nach Ihrer Nutzung.Die Vor- und Nachteile von Google Vertex AI Studio auf einen Blick:Pro:gute Online-Umgebung, um KI-Anwendungen zu entwickeln;bietet mehr als 40 proprietäre KI-Modelle und mehr als 60 Open-Source-Modelle;unkomplizierter Support für Retrieval Augmented Generation und Modell-Feintuning;zeitnahe Adoption und Bereitstellung neuer KI-Modelle anderer Anbieter;Kontra:wichtige Bestandteile des Produkts – etwa die AI Extensions – sind zur Zeit nur eingeschränkt zugänglich;


(fm)