How can I correct my annotations using the NER.manual recipe?

1

Hello Prodigy, I would like to know how to access my annotations that I have already made on Prodigy using the recipe (Manual NER) by executing this command (python -m prodigy ner.manual ner_news_headlines blank:ar ./Tiziri.jsonl --label TYP,SYM,ORG,INGR,OBJ,TRANS). Now I want to retrieve the same annotated file to correct it with the same recipe: manual.

I also have an issue with displaying my annotations, they only show up in Unicode. I want to point out that my data is in Arabic text. Thank you in advance for your response.

2

Hi there,
I had a similar issue. Running the following should do the trick:

python -m prodigy review NAME_OF_A_NEW_DATASET ner_news_headlines --label TYP,SYM,ORG,INGR,OBJ,TRANS

Here you will use the already annotated ones and review them, then saving them into a new, cleaned-up dataset.

1 Like
3

hi @Tiziri!

Thanks for your question.

Actually, you can simply reload past annotations using dataset:[name of annotated dataset] as your source.

For example, let's say you've run:

python -m prodigy ner.manual ner_news_headlines blank:ar ./Tiziri.jsonl --label TYP,SYM,ORG,INGR,OBJ,TRANS

And you've saved X number of annotations into ner_news_headlines.

You can run ner.manual again with the annotated data by running:

python -m prodigy ner.manual ner_news_headlines_updated blank:ar dataset:ner_news_headlines --label TYP,SYM,ORG,INGR,OBJ,TRANS

Even cooler, you can also add :accept or :reject to annotate only those that are accepted, rejected, ignored, etc.

See these docs for more details.

Hm... can you provide a few examples in a .jsonl file? I wonder if there's any issue with your data. I know of several users who have been successful using Arabic in Prodigy (FYI, we recently updated our right-to-left for many interfaces like rel.manual so it should work.)

Ideally, if you can give me a fully reproducible example (prodigy command, prodigy version (run prodigy stats), and input file), that would help us as it's really hard to diagnose problems without a reproducible example.

4

Tiziri.jsonl (533.5 KB)
annotations1.jsonl (2.8 MB)

Thank you very much for your response. Attached is the JSON file before and after annotation.and this is an example of my dataset (text) that i used for annotation
الباب الاول
في
صنعة الاقراص
[1]
صفة قرص الطباشير بالترنجبين
النافع من العطش و الحميات الحادة و الاعتقال
طباشير: اربعة دراهم، نشاء: درهم، ترنجبين: خمسة دراهم، بزر القثاء و القرع: من كل واحد ثلاثة دراهم، خشخاش ابيض: درهم، كثيراء و صمغ عربى: من كل واحد درهم. يدق كل واحد على حدته، و ينخل و يعجن بلعاب بزر قطونا، و يقرص كل قرصة من درهم و يجفف على ظهر منخل في الظل. الشربة: قرصة بماء الشعير.

[2]
قرص الحماض
النافع من استطلاق البطن و نفث الدم و السعال و غلبة المرار
بزر الحماض المنقى، و طين مختوم، و صمغ عربى، و حب الآس: من كل واحد عشرة الدراهم. حب الامير باريس، و طباشير: من كل واحد ثمانية دراهم. ورد منزوع الاقماع: سبعة دراهم، نشاء: خمسة دراهم، بلوط : اربعة دراهم، زعفران و كهرباء و بسذ : من كل واحد ثلاثة دراهم، نصف درهم. يدق الجميع و ينخل و يعجن بماء ورد، و يجفف و يستعمل برب الآس الساذج.

[3]
قرص الامير باريس الصغير
النافع من الحمى و العطش و الكرب
حب الامير باريس: منزوع الحب، و رب السوس و طباشير: من كل واحد ثلاثة دراهم، سنبل الطيب: درهمان، بزر الخيار: ثلاثة دراهم و نصف، ورد احمر منزوع الاقماع: ستة دراهم، بزر بقلة و زعفران و نشاء و كثيراء: من كل واحد درهمان، کافور: نصف درهم. يسحق الجميع و يعجن بماء الترنجبين، و يقرص كل قرصة مثقال و يستعمل.

[4]
قرص الامير باريس الكبير
النافع من ورم الكبد و المعدة و استبداء الاستسقاء و الحميات العتيقة و اليرقان
حب الامير باريس، و رب السوس، و ورد احمر، و بزر القثاء، و بزر البطيخ مقشور: من كل واحد ثلاثة دراهم، مصطكى و سنبل الطيب، و عصارة الغافث و فوة الصباغين، و لك بسر، و عصارة الافسنتين، و اسارون، و فقاح الاذخر، و بزر الشاهترج، و بزر الهندباء، و بزر الاكشوث، و راوند صينى، و زعفران، و طباشير: من كل واحد درهمان، ترنجبين: ستة دراهم. يحل الترنجبين بماء حار و تعجن به الادوية، و يقرص من مثقال و يستعمل.

[5]
الاقراص المبردة بالكافور
النافعة من التلهب و بقايا الحميات و العطش و ضعف المعدة
بزر بقلة، و بزرالقثة، و بزر الخيار، و القرع مقشورة: من كل واحد خمسة دراهم، عصارة الامير باريس، و خشخاش اسود: من كل واحد سبعة دراهم، و بزر الخس، و خشب الصندل المقاصيرى، و لب السفرجل: من كل واحد اربعة دراهم طباشير، و نشاء و صمغ عربى: من كل واحد درهم، سكر العشر: ثمانية دراهم، كافور فنصورى: نصف مثقال. يسحق الجميع كل واحد بمفرده، و يخلط و يعجن بلعاب بزر قطونا، و يقرص من مثقال و يجفف. الشربة: قرصة بماء البقلة.

[6]
صفة اقراص الحميات
اذا طالت و كان معها نافض و تسمى اقراص النافض.
ورد منزوع، الاقماع، و لك بسر، و عصارة الغافث: كل واحد جزء، و بزر بقلة: جزئين، طباشير: نصف جزء، و رب السوس: ربع جزء. يدق و يعجن بماء ورد، و يقرص من درهم، و يجفف و يستعمل مع سكنجبين ساذج، و ماء ورد، و ماء بارد.

[7]
صفة قرص الكبر
النافع من صلابة الطحال و كبره
قشور الكبر: اربعة اجزاء، بزر الفنجنکشت، وفلفل اسود، و اسارون، وزراوند طويل، و ایرسا: وهو اصل السوسن الآسمانجونى، و سنبل الطيب: من كل واحد جزئين، زعفران: نصف جزء. يجمع و يدق و يعجن بميبختج، و يقرص من درهم.

[8]
قرص الخشخاش
لحمى الكبد
خشخاش اسود و ابيض: من كل واحد اربعة دراهم، بزر القثاء، و الخيار، و القرع، و البقلة، و نشاء، و صمغ عربى: من كل واحد درهم. يدق الجميع، و ينخل، و يعجن بماء، و يقرص من مثقال، و يجفف، و يشرب بماء بزر بقلة و سكنجبين الرمان.

[9]
صفة اقراص الكوكب
النافعة من ضعف المعدة، و انجلاب الفضول اليها، و الجشاء الحامض، و المغص، و الاختلاف، و وجع الاذن، و قذف الدم، و الصداع، و النزلات، و السعال، و قروح الامعاء، و المثانة، و وجع الارحام، و السموم من اللسوع و اللدوغ، و تنفع من القولنج، و تقوى الاحشاء حتى لا تقبل الفضول التي تنجلب اليها. و تسمى بالسريانية لامزدخيانا، و تفسيره لابد لشاربه ان يبرا، و يقال انه دواء لا يكبب.
يؤخذ جندبا دستر، و مر، و سنبل الطيب، و سليخة، و طين رومي مختوم، و قشر اصل اللفاح، و طلق: من كل واحد اربعة دراهم، زعفران، و افيون، و قسط : من كل واحد خمسة دراهم، دوقو، و افثيمون اقربطشي، و انيسون، و سساليوس، و بزر البنج الابيض، و ميعة سائلة، و بزر الكرفس: من كل واحد ثمانية دراهم. تجمع هذه الادوية مسحوقة منخولة، و ينقع منها ما ينقع بشراب صاف جيد الجوهر، وهو الاصل او الجمهورى او بمثلث، و تعجن به الادوية، و يقرص اقراصا: وزن نصف درهم، و يجفف في الظل، و يستعمل بعد ستة اشهر عند الحاجة.

5

============================== :sparkles: Prodigy Stats ==============================

Version 1.11.11
Location C:\Users\Lounis\PycharmProjects\pythonProject4\venv\lib\site-packages\prodigy
Platform Windows-10-10.0.19044-SP0
Python Version 3.9.11
Database Id sqlite
Total Datasets 6
Total Sessions 66

6

hi @Tiziri,

Sorry for the delay.

I went back and tried and didn't have any unicode issues with your file:

localhost_8080_ (26)
localhost_8080_ (26)2122×1562 184 KB

I ran:

PRODIGY_CONFIG_OVERRIDES='{"writing_dir": "rtl"}' python3.9 -m prodigy ner.manual issue-6515 blank:ar Tiziri.jsonl --label TYP,SYM,ORG,INGR,OBJ,TRANS

Hopefully you found a resolution to the problem.