Visuelles Nachschlagen: Pflanzen, Tiere und Objekte mit dem iPhone erkennen

Du bist auf einer Wanderung, siehst eine auffällige Blume am Wegesrand und fragst dich: Was wächst da eigentlich? Statt eine Bestimmungs-App zu öffnen, reicht ein Foto mit dem iPhone. Die Funktion dahinter heißt Visuelles Nachschlagen (im Englischen Visual Look Up) und ist seit iOS 15 fester Bestandteil der Fotos-App. Mit iOS 26 hat Apple zusätzlich Visual Intelligence als zweite, KI-gestützte Erkennungsebene eingeführt. Beide Funktionen lösen ähnliche Probleme, arbeiten aber unterschiedlich.

Was ist Visuelles Nachschlagen?

Visuelles Nachschlagen nutzt maschinelles Lernen, um Objekte in deinen Fotos zu identifizieren. Das iPhone analysiert das Bild und erkennt, ob es sich um eine Pflanze, ein Tier, ein Wahrzeichen oder ein anderes bekanntes Objekt handelt. Du bekommst dann weiterführende Informationen direkt in der Fotos-App angezeigt. Ohne eine separate Suche starten zu müssen.

Apple hat die Funktion über die Jahre deutlich ausgebaut. Anfangs beschränkte sich die Erkennung auf Pflanzen, Tiere und Wahrzeichen. Mit iOS 16 kamen Vögel, Insekten, Spinnen und Statuen dazu. Seit iOS 17 erkennt das iPhone auch Lebensmittel sowie Wäschepflege-Symbole und kann passende Rezepte oder Pflegehinweise einblenden. Mit iOS 18 funktioniert Visuelles Nachschlagen sogar in Videos. Du pausierst ein Video, und die Erkennung springt an.

So nutzt du Visuelles Nachschlagen

Die Bedienung ist bewusst einfach gehalten:

1. Foto öffnen in der Fotos-App
2. Info-Button antippen. Das ist das kleine (i)-Symbol am unteren Bildrand. Wenn das iPhone ein erkennbares Objekt gefunden hat, erscheinen kleine Sterne um das Symbol. Das ist dein Signal.
3. Auf das erkannte Objekt tippen. Unterhalb des Fotos erscheint ein Label (z.B. Pflanze oder Wahrzeichen). Tippst du darauf, öffnet sich eine Karte mit Informationen aus Siri-Wissen und dem Web.

Bei Fotos mit mehreren erkennbaren Objekten zeigt das iPhone alle gefundenen Elemente an. Du wählst dann, welches dich interessiert.

Was wird erkannt?

Die Liste der erkannten Kategorien wächst mit jeder iOS-Version:

• Pflanzen und Blumen: von der Orchidee im Büro bis zum Wildkraut auf der Wanderung
• Tiere: Hunde- und Katzenrassen, aber auch Wildtiere
• Vögel: detaillierte Artbestimmung (seit iOS 16)
• Insekten und Spinnen: hilfreich im Garten oder auf Reisen (seit iOS 16)
• Wahrzeichen und Sehenswürdigkeiten: Gebäude, Denkmäler, Brücken weltweit
• Kunst und Statuen: Gemälde in Museen, Skulpturen im öffentlichen Raum (seit iOS 16)
• Lebensmittel: Gerichte erkennen und Rezeptvorschläge erhalten (seit iOS 17)
• Wäschepflege-Symbole: Etiketten in Kleidung entschlüsseln (seit iOS 17)
• Symbole im Auto-Cockpit: Warnleuchten und Bedienelemente (seit iOS 17)

Die Erkennung funktioniert am besten, wenn das Objekt klar im Bild zu sehen ist und nicht von anderen Dingen verdeckt wird. Ein einzelner Schmetterling auf einer Blume? Perfekt. Ein winziger Käfer am Rand eines Gruppenfotos? Eher schwierig.

Praxisbeispiele: Wo Visuelles Nachschlagen wirklich hilft

Auf der Wanderung: Du fotografierst eine unbekannte Pflanze, und das iPhone sagt dir innerhalb von Sekunden, dass es sich um Bärlauch handelt. Oder eben nicht. Das ersetzt keinen Bestimmungskurs, aber es gibt dir einen soliden ersten Anhaltspunkt.

Im Museum: Du stehst vor einem Gemälde ohne Beschriftung oder fotografierst eine Statue im Park. Visuelles Nachschlagen liefert den Künstler, den Titel und Hintergrundinformationen. Praktisch, wenn die Infotafel fehlt oder du die Beschriftung nicht lesen kannst.

Im Garten: Welcher Schmetterling besucht da gerade den Lavendel? Seit iOS 16 erkennt das iPhone Insekten zuverlässig genug, um zumindest die Art einzugrenzen. Für Hobby-Gärtner ist das eine nette Ergänzung.

Beim Essen: Du bekommst ein Gericht serviert und weißt nicht genau, was auf dem Teller liegt. Seit iOS 17 identifiziert das iPhone Speisen und schlägt dir Rezepte vor. In der Praxis funktioniert das vor allem bei klar erkennbaren Gerichten wie Sushi, Pad Thai oder Tiramisu gut.

Vor der Waschmaschine: Du hast ein neues Hemd gekauft und siehst auf dem Pflegeetikett ein Symbol, das du nicht kennst. Foto machen, Info-Button antippen, und das iPhone erklärt dir die ISO-Pflegesymbole im Klartext. Spart den Gang zur Suchmaschine.

iOS 26: Visual Intelligence als zweite Erkennungsebene

Mit iOS 26 hat Apple eine neue Funktion eingeführt, die oft mit Visuellem Nachschlagen verwechselt wird: Visual Intelligence. Sie gehört zur Apple Intelligence-Plattform und arbeitet anders. Statt nur Objekte in vorhandenen Fotos zu erkennen, kannst du Visual Intelligence direkt auf die Welt um dich herum richten oder auf alles, was gerade auf deinem Bildschirm passiert.

Drei Wege führen zu Visual Intelligence:

• Camera Control (iPhone 16, 17 und Air): Drücken und halten der dedizierten Kamerataste auf der rechten Seite
• Action Button (iPhone 15 Pro): in den Einstellungen Visual Intelligence zuweisen
• Screenshot-Modus (alle kompatiblen Modelle, neu in iOS 26): Side-Button und Lauter-Taste gleichzeitig drücken. Im Screenshot-Editor erscheinen unten die Optionen Fragen, Suchen und Hervorheben.

Du kannst dann Bereiche einkreisen oder hervorheben und bekommst entweder eine Antwort von Apple Intelligence (Pflanze bestimmen, Termin aus einem Plakat erkennen, Produktinfo abfragen) oder du leitest die Anfrage an ChatGPT weiter, um detaillierte Erklärungen zu erhalten. Wer den Unterschied zwischen on-device-Verarbeitung und Cloud-Anfragen verstehen will, sollte einen Blick auf das Thema Apple Intelligence Datenschutz werfen.

Wichtig: Visual Intelligence läuft nur auf iPhones, die Apple Intelligence unterstützen. Das sind iPhone 15 Pro, iPhone 15 Pro Max, alle iPhone-16-Modelle, iPhone Air und alle iPhone-17-Modelle. Visuelles Nachschlagen funktioniert dagegen schon ab iPhone XS.

Visuelles Nachschlagen vs. Visual Intelligence

In der Praxis ergänzen sich beide Funktionen:

Feature	Visuelles Nachschlagen	Visual Intelligence
Verfügbar seit	iOS 15 (2021)	iOS 18.2 (Apple Intelligence)
iPhone-Voraussetzung	iPhone XS und neuer	iPhone 15 Pro, 16, 17, Air
Eingabe	Bestehende Fotos, Screenshots, Videos	Live-Kamera, Screenshots
Was wird erkannt	Pflanzen, Tiere, Wahrzeichen, Statuen, Speisen, Symbole	Alles plus Text, Produkte, Termine, Aktionen
Verarbeitung	Primär on-device	On-device + Cloud + ChatGPT
Kosten	Gratis	Gratis (ChatGPT optional Plus-Account)

Faustregel: Für etwas, das du bereits fotografiert hast, ist Visuelles Nachschlagen schneller. Für Live-Szenen, fremde Texte oder komplexe Fragen ist Visual Intelligence die bessere Wahl.

Genauigkeit und Grenzen

Visuelles Nachschlagen ist beeindruckend. Aber nicht perfekt. Bei gängigen Pflanzen und bekannten Wahrzeichen liefert es in den meisten Fällen das richtige Ergebnis. Bei seltenen Arten, ähnlich aussehenden Pflanzen oder ungewöhnlichen Perspektiven sinkt die Trefferquote deutlich.

Wo es gut funktioniert:

• Bekannte Pflanzenarten (Rosen, Sonnenblumen, Lavendel)
• Populäre Wahrzeichen (Eiffelturm, Brandenburger Tor)
• Gängige Hunde- und Katzenrassen
• Klar fotografierte Insekten und Vögel

Wo es an Grenzen stößt:

• Seltene oder regionale Pflanzenarten
• Junge Pflanzen ohne Blüten (nur Blätter)
• Beschädigte oder teilweise verdeckte Objekte
• Weniger bekannte Gebäude und Denkmäler
• Exotische Lebensmittel oder Fusionsküche

Vergleich mit Google Lens

Google Lens ist der offensichtliche Konkurrent und in einigen Bereichen tatsächlich überlegen. Google hat schlicht eine größere Bilddatenbank und kann auf die gesamte Google-Suche zurückgreifen.

Google Lens Vorteile:

• Größere Erkennungsdatenbank
• Funktioniert auf jedem Smartphone
• Kann auch Text übersetzen und Produkte identifizieren
• Shopping-Integration (Produkte scannen und Preise vergleichen)

Visuelles Nachschlagen Vorteile:

• Nahtlos in iOS integriert. Kein App-Wechsel nötig
• Besserer Datenschutz (siehe nächster Abschnitt)
• Funktioniert direkt in Fotos, Nachrichten und Safari
• Kein Google-Account erforderlich

In der Praxis nutze ich beide: Visuelles Nachschlagen für den schnellen Check direkt in der Fotos-App, Google Lens wenn ich eine genauere Bestimmung brauche oder wenn Apples Erkennung nichts findet. Mit Visual Intelligence in iOS 26 schließt Apple aber die Lücke spürbar. Für Produktidentifikation und Übersetzungen reicht mir die Apple-Lösung inzwischen meistens.

Datenschutz: Was passiert mit deinen Fotos?

Das ist einer der größten Vorteile von Apples Lösung. Die grundlegende Bilderkennung passiert direkt auf dem iPhone (on-device). Dein Foto wird nicht an Apple-Server geschickt, nur damit eine Blume bestimmt wird.

Erst wenn du auf Nachschlagen tippst und weiterführende Informationen abrufst, werden Daten an Apple gesendet. Aber auch dann nur die erkannten Merkmale, nicht das komplette Foto. Apple betont, dass diese Anfragen nicht mit deiner Apple-ID verknüpft werden.

Bei Visual Intelligence ist die Lage differenzierter: Die Vorabanalyse läuft on-device, komplexere Anfragen können aber an Apples Private Cloud Compute oder optional an ChatGPT weitergeleitet werden. Apple verspricht, dass auch bei Cloud-Anfragen keine Daten gespeichert werden. Wer das prüfen will, kann die ChatGPT-Integration in den Einstellungen deaktivieren.

Das ist ein relevanter Unterschied zu Google Lens, wo Bilder standardmäßig auf Googles Servern verarbeitet werden. Wenn du Wert auf Datenschutz legst, ist das ein echtes Argument für Apples Lösung. Und wenn du generell darauf achtest, welche Informationen in deinen Fotos stecken, lohnt sich ein Blick auf das Thema Metadaten in iPhone-Fotos.

Welche iPhones und iOS-Versionen werden unterstützt?

Visuelles Nachschlagen braucht den Apple Neural Engine Chip, der seit dem A12 Bionic verbaut wird. Das bedeutet:

• iPhone XS, XR und neuer (ab 2018)
• iOS 15 oder neuer (Grundfunktion)
• iOS 16 für Vögel, Insekten, Spinnen, Statuen
• iOS 17 für Lebensmittel, Wäschesymbole und Auto-Symbole
• iOS 18 für Visuelles Nachschlagen in Videos
• iOS 26 zusätzlich Visual Intelligence im Screenshot-Modus (nur Apple-Intelligence-iPhones)

Ältere iPhones wie das iPhone X, iPhone 8 oder iPhone 7 unterstützen die Funktion nicht. Ihnen fehlt die nötige Rechenleistung für die On-Device-Erkennung.

Die Funktion ist zudem nicht in allen Ländern verfügbar. In Deutschland, Österreich und der Schweiz funktioniert sie problemlos. Apple erweitert die Länderliste regelmäßig.

Objekte freistellen: Der versteckte Bonus

Seit iOS 16 gibt es eine verwandte Funktion, die oft übersehen wird: Objekt freistellen. Hältst du in der Fotos-App den Finger auf ein erkanntes Objekt (z.B. ein Tier oder eine Person), kannst du es vom Hintergrund lösen und als separates Bild kopieren, teilen oder in andere Apps einfügen.

Das funktioniert erstaunlich präzise und ist zum Beispiel praktisch, wenn du ein freigestelltes Foto deines Hundes in eine Nachricht einfügen willst. Ohne den unordentlichen Hintergrund. Wer seine alten Papierfotos digitalisiert hat, kann damit auch aus gescannten Fotos einzelne Personen oder Objekte freistellen.