Данные

Условия повторного использования

База данных Open Food Facts доступна под Open Database License.
Отдельное содержимое базы данных доступно под Database Contents License.
Изображения продуктов доступны под Creative Commons Attribution ShareAlike licence. Они могут содержать графические элементы, на которые распространяются авторские или иные права, которые в некоторых случаях могут быть растиражированы (права на цитирование или добросовестное использование).

Пожалуйста, прочитайте Условия использования и повторного использования перед повторным использованием данных.

Расскажите нам о своем повторном использовании

Мы очень заинтересованы в изучении целей использования данных Open Food Facts. Это не обязательно, но мы будем очень признательны, если вы расскажете нам о своих повторных использованиях, чтобы мы могли поделиться ими с сообществом Open Food Facts. Вы также можетезаполнить эту форму, чтобы получить шанс на добавление вашего приложения в избранное.

Экспорт данных Open Food Facts

Дампы базы данных и экспорт генерируются каждую ночь. База данных очень большая, так что вы можете найтиразные способы использования, в зависимости от варианта экспорта.

Информация о различных полях для дампа MongoDB и экспорта CSV доступна по адресу https://world.openfoodfacts.org/data/data-fields.txt

Дамп MongoDB

Данные для всех продуктов доступны в дампе базы данных MongoDB.

Ссылка

https://static.openfoodfacts.org/data/openfoodfacts-mongodbdump.gz

sha256sum

https://static.openfoodfacts.org/data/gz-sha256sum

md5sum

https://static.openfoodfacts.org/data/gz-md5sum

Экспорт дельты

Ежедневный экспорт дельты предоставляется за предыдущие 14 дней. Список доступных в настоящее время дельта-файлов можно найти по адресу https://static.openfoodfacts.org/data/delta/index.txt.

Каждая строка представляет файл, который доступен по адресу https://static.openfoodfacts.org/data/delta/{filename}.

Имя файла содержит временную метку UNIX первого и последнего изменения, содержащегося в файле JSON, так что файлы дельта можно импортировать (после извлечения) с помощью mongoimport в алфавитном порядке.

Обратите внимание, что из-за природы mongoexport, дельта-файлы не смогут рассказать вам об удаленных продуктах. Чтобы убрать удалённый товар из базы данных, вам нужно импортировать полный дамп MongoDB.

Экспорт данных CSV

Вся база данных также доступна в формате JSONL (иногда называемом LDJSON или NDJSON), где каждая строка является объектом JSON. Он представляет те же данные, что и экспорт из MongoDB. Файл сжат с помощью gzip.

Ссылка

https://static.openfoodfacts.org/data/openfoodfacts-products.jsonl.gz

Подходящим способом использования базы данных является использование DuckDB — инструмента внутри процессной аналитики, предназначенного для обработки больших объемов данных за доли секунды. Вы можете прочитать наш пост в блоге, где мы расскажем вам об исследовании и обработке базы данных Open Food Facts с помощью DuckDB

Экспорт данных Parquet на Hugging Face

Упрощенная версия дампа JSONL также доступна в формате Parquet. В ходе конвертации мы отфильтровали столбцы, которые содержат дублированную информацию, используются для внутренней отладки или просто неактуальны для пользователей.

Формат Parquet оказался удобным:

• Данные организованы по столбцам, а не по строкам, что экономит дисковое пространство и ускоряет аналитические запросы, т. е. вы можете выбрать только те столбцы, которые вам нужны, оптимизируя производительность запросов даже на компьютерах начального уровня.
• Высокоэффективное сжатие и распаковка данных, что делает его полезным для хранения и обмена большими наборами данных любого рода,
• Поддерживает сложные типы данных и расширенные вложенные структуры данных.

Набор данных доступен на Hugging Face— совместной экосистеме машинного обучения, где разработчики и исследователи могут обмениваться моделями и наборами данных.

Ссылка

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/food.parquet?download=true

Найдите больше информации на Wiki, включая советы по использованию данных и примеры запросов, чтобы начать.

Экспорт данных CSV

Данные по всем или некоторым продуктам можно загрузить в формате CSV (читаемый в LibreOffice, Excel и многих других программах) через форму расширенного поиска.

Ссылка

Food: https://static.openfoodfacts.org/data/en.openfoodfacts.org.products.csv.gz (compressed CSV in GZIP format: ~ 0.9 Gb, uncompressed: ~ 9 Gb)

Cosmetics: https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz

Pet Food: https://static.openpetfoodfacts.org/data/en.openpetfoodfacts.org.products.csv.gz

All other products: https://static.openproductsfacts.org/data/en.openproductsfacts.org.products.csv.gz

Кодировка файла - Unicode UTF-8. Символом, который разделяет поля, является <tab> (табуляция).

Экспорт данных RDF

The database is also available in the RDF format (this is an experiment, not actively maintained anymore). Вы можете прочитать объявления на французском.

Ссылка

https://world.openfoodfacts.org/data/en.openfoodfacts.org.products.rdf.gz

Экспорт данных изображения

Все изображения и результаты OCR можно загрузить с нашего сервера или из AWS (через программу AWS Open Data). Check out our documentation to learn more about how to download images

OpenAPI Documentation for the JSON API

JSON API также доступен для чтения данных о продукте. This API is in particular used in the Open Food Facts mobile app.

Мы улучшаем API сверхурочно, но мы тщательно следим за обратной совместимостью. Пожалуйста, сообщите нам если вы используете его, чтобы мы могли рассказать вам о возможных изменениях.

Discover our API

Contributing to improving our API and OpenAPI documentation

We're eager to finish the documentation of the API, add use-cases, and automate SDK generation. If you are an OpenAPI connoisseur, you are very welcome to help.

You are very welcome to use the API for production cases, as long as 1 API call = 1 real scan by a user. Any attempt to scrape the database using the API will very likely be blocked, as full daily exports are available on this very page.

Also, sending an HTTP header with your API call is a good way we can get in touch, should any issue arise.

XML API (unsupported)

Вы также можете получить результат в XML, используя .xml

Пример: https://world.openfoodfacts.org/api/v2/product/737628064502.xml

Этот API не поддерживается, и не документирован.

Обертки и SDK

У нас наверняка есть оболочка для вашего любимого языка программирования. Если мы сделаем, вы можете использовать это и улучшить. Если мы не сделаем, вы можете помочь нам сделать это.

Они позволят вам потреблять данные, а также позволят вашим пользователям вносить новые данные

Общие принципы, которые помогут сделать ваших пользователей счастливыми

• Вы можете искать информацию о продуктах, включая множество полезных расчетных значений.
• DART: GitHub
• Вы также можете реализовать весь процесс, чтобы они немедленно получили результат, приложив некоторые усилия с их стороны.

Если ваши пользователи не ожидают немедленного результата (например, приложения Inventory)

• Отправка фотографий (вид/пищевая ценность/ингредиенты): самый безболезненный способ для ваших пользователей
• Искусственный интеллект Open Food Facts - Robotoff - сгенерирует некоторые производные данные из фотографий
• Со временем другие приложения и сообщество Open Food Facts заполнят пробелы в данных

Если ваши пользователи ожидают немедленного результата (например, приложения по питанию)

• Предоставьте пищевые факты + категорию > получить Nutri-Score
• Предоставьте ингредиенты > получите группу NOVA (о пищевой ультра обработке), добавки, аллергены, нормализованные ингредиенты, веганские, вегетарианские…
• Предоставьте категорию + этикетки > скоро вы получите Eco-Score (насчёт влияния на окружающую среду)

Мобильное приложение для Android и iPhone

Код мобильного приложения Open Pet Food Facts доступен на GitHub (Flutter, Kotlin Android and Swift iOS).

We look to turn the deprecated Kotlin and Swift codebases into Kotlin and Swift SDKs, help welcome :-)

Приложение позволяет пользователям сканировать штрихкод продукта, чтобы найти о нём информацию, и добавить фото и информацию для новых продуктов.

Вы можете самостоятельно использовать код (он в открытом доступе) и помочь нам улучшить его, для каждого, на всей земле.

SDK

Icon	Language / Framework	Ресурсы	Discussion
	Cordova (Old App)	GitHub	N/A
	DART	GitHub pub.dev	N/A
	Elixir	GitHub	Slack Channel
	Go	GitHub	Slack Channel
	Java	GitHub	Slack Channel
	Spring Boot	GitHub	Slack Channel
	Kotlin	GitHub	Slack Channel
	NodeJS	GitHub	Slack Channel
	PHP	GitHub	Slack Channel
	PHP (Laravel)	GitHub	Slack Channel
	Python	GitHub	Slack Channel
	React Native	GitHub	Slack Channel
	Ruby	GitHub	Slack Channel
	Rust	GitHub	Slack Channel
	R	GitHub	Slack Channel
	Swift	GitHub	Slack Channel
	.NET/C#	GitHub	Slack Channel

Обсуждение данных, API и экспорт

Вы можете посмотреть часто задаваемые вопросы об API и экспорте данных и часто задаваемые вопросы Open Food Facts

Вы можете присоединиться к чату Open Food Facts Slack, который является предпочтительным способом задать вопросы и обсудить API. Пожалуйста задавайте свои вопросы в канале #api

You can open a thread on our API documentation repository

По любым вопросам относительно данных вы можете связаться с нами по адресу reuse@openfoodfacts.org