Pokazywanie postów oznaczonych etykietą OCR. Pokaż wszystkie posty
Pokazywanie postów oznaczonych etykietą OCR. Pokaż wszystkie posty

czwartek, 12 marca 2026

Powrót

Po dłuższej przerwie wracam. Doszedłem do wniosku, że forma newslettera jest słaba, więc postanowiłem wrócić do formy bloga. Jeśli chodzi o tematykę to oczywiście będę się  skupiał bardziej na temacie wykorzystywania AI w sprawach archiwalnych, w szczególności  w digitalizacji, OCR czy w metadanych. Będę pokazywał swój workflow oraz też wiadomości z pogranicza AI oraz Archiwów. 

Na początek zapraszam do przeczytania Digitalizacja Warsztatowe ABC. A w nim mój artykuł: OCR vs Modele językowe



środa, 20 listopada 2024

Prompty dla Archiwisty cz.1: Zarządzanie Innowacjami

Czas na nową serię „Prompty dla Archiwisty”, w której podzielę się pomysłami na wykorzystanie promptów w pracy archiwalnej. Znajdziesz tu zarówno te, które sam opracowałem, jak i te wyszukane w odmętach Internetu. Wszystko po to, by ułatwić pracę archiwalną. Będzie prosto i konkretnie. Zapraszam!

Prompt: Zarządzanie Innowacjami

Wygeneruj kompleksowy plan zarządzania innowacjami w organizacji [rodzaj działalności lub branża], koncentrując się na [konkretnych celach lub wyzwaniach związanych z innowacjami] i biorąc pod uwagę [docelową grupę odbiorców lub kluczowych interesariuszy]. 

Rodzaj działalności/branża: [Wstaw tutaj] 

Cele/wyzwania innowacyjne: [Wstaw tutaj] 

Docelowi odbiorcy/interesariusze: [Wstaw tutaj]

Branża, jak łatwo się domyślić, to archiwistyka, a za główny cel obrałem zastosowanie technologii OCR (Optical Character Recognition). Dlaczego właśnie to? OCR pozwala na przekształcenie fizycznych dokumentów i obrazów w cyfrowe, wyszukiwalne treści, co znacząco ułatwia dostęp do zasobów archiwalnych.

Jeśli chodzi o docelowych odbiorców, skupiłem się na twórcach kultury i mediów: dziennikarzach, filmowcach, pisarzach oraz artystach. To właśnie oni najczęściej poszukują materiałów i inspiracji ukrytych w archiwach, a OCR może stać się dla nich kluczem do szybszego i bardziej efektywnego odkrywania tych zasobów. Dzięki temu archiwa mogą stać się bardziej otwarte i przyjazne dla współczesnych użytkowników.

A oto nasz ejaj (ChatGPT 4o) stworzył. Oczywiście zawsze pamiętamy o potrzebie weryfikacji takiej odpowiedzi. 

Plan Zarządzania Innowacjami w Branży Archiwistycznej

1. Wstęp

Wprowadzenie technologii OCR (Optical Character Recognition) do archiwów jest kluczowym krokiem w kierunku cyfryzacji i zwiększenia dostępności zasobów dla twórców kultury i mediów, takich jak dziennikarze, filmowcy, pisarze oraz artyści. Ten plan koncentruje się na skutecznej implementacji OCR, uwzględniając potrzeby tych grup oraz wyzwania technologiczne.


2. Cele Zarządzania Innowacjami

  1. Zwiększenie dostępności zasobów archiwalnych:

    • Przekształcenie dokumentów w cyfrowe i wyszukiwalne treści.
    • Ułatwienie twórcom kultury szybkiego dostępu do potrzebnych materiałów.
  2. Poprawa jakości danych:

    • Minimalizacja błędów w rozpoznawaniu tekstu i zapewnienie wysokiej dokładności technologii OCR.
  3. Dostosowanie narzędzi do potrzeb twórców:

    • Umożliwienie intuicyjnego wyszukiwania i analizowania danych.
  4. Promocja archiwów jako źródła inspiracji:

    • Zwiększenie świadomości o wartości archiwów w procesach twórczych.

3. Etapy Zarządzania Innowacjami

Etap 1: Diagnoza i Analiza Potrzeb

  • Identyfikacja potrzeb twórców kultury:
    • Przeprowadzenie wywiadów i ankiet wśród dziennikarzy, pisarzy, filmowców oraz artystów.
    • Zrozumienie, jakie typy materiałów są najbardziej pożądane (np. fotografie, dokumenty tekstowe, mapy).
  • Analiza zasobów archiwalnych:
    • Ocena jakości i formatu istniejących materiałów.
    • Weryfikacja, które zasoby są priorytetowe do digitalizacji.

Etap 2: Dobór Technologii i Partnerów

  • Wybór technologii OCR:

    • Testowanie dostępnych rozwiązań (np. ABBYY, Tesseract, Google Vision).
    • Wybór narzędzi, które najlepiej rozpoznają historyczne i nietypowe czcionki.
  • Współpraca z ekspertami:

    • Nawiązanie współpracy z firmami technologicznymi i instytucjami naukowymi.
    • Zaangażowanie specjalistów ds. digitalizacji i historyków.

Etap 3: Implementacja

  • Digitalizacja zasobów:

    • Utworzenie zespołu ds. digitalizacji dokumentów.
    • Stworzenie procedur skanowania i obróbki danych.
  • Trening algorytmów OCR:

    • Dostosowanie technologii do specyficznych materiałów (np. stare druki, dokumenty zniszczone).
  • Tworzenie platformy dostępu:

    • Budowa portalu, który umożliwia wyszukiwanie treści przez frazy kluczowe, kontekst i metadane.

Etap 4: Promocja i Edukacja

  • Promowanie zasobów archiwalnych:

    • Organizowanie warsztatów dla twórców kultury o korzystaniu z narzędzi OCR.
    • Kampanie informacyjne prezentujące potencjał archiwów jako źródła inspiracji.
  • Szkolenie personelu:

    • Wdrażanie szkoleń z obsługi narzędzi OCR i zarządzania cyfrowymi zasobami.

Etap 5: Monitorowanie i Doskonalenie

  • Ewaluacja efektów:

    • Zbieranie informacji zwrotnych od użytkowników.
    • Ocena jakości i przydatności udostępnionych danych.
  • Aktualizacja technologii:

    • Ciągłe doskonalenie algorytmów OCR w odpowiedzi na nowe wyzwania i potrzeby.

4. Kluczowi Interesariusze

  1. Twórcy kultury i mediów:

    • Korzystają z zasobów archiwalnych jako materiałów źródłowych i inspiracyjnych.
  2. Firmy technologiczne:

    • Dostarczają narzędzia i wsparcie techniczne dla implementacji OCR.
  3. Pracownicy archiwów:

    • Odpowiedzialni za proces digitalizacji i zarządzanie zasobami.
  4. Instytucje edukacyjne i naukowe:

    • Współpracują przy rozwoju technologii i promocji archiwów.

5. Mierniki Sukcesu

  • Liczba zdigitalizowanych i udostępnionych dokumentów.
  • Procent poprawności rozpoznawania tekstu przez OCR.
  • Liczba użytkowników platformy i częstotliwość korzystania z zasobów.
  • Liczba nowych projektów twórczych powstałych z wykorzystaniem zasobów archiwalnych.

6. Potencjalne Ryzyka

  • Niedoszacowanie kosztów:

    • Konieczność pozyskania dodatkowego finansowania.
  • Problemy z ochroną praw autorskich:

    • Weryfikacja, które materiały mogą być legalnie udostępniane.
  • Ograniczona adaptacja przez użytkowników:

    • Brak wystarczającego szkolenia lub promocji może ograniczyć zainteresowanie.

7. Harmonogram

EtapCzas trwaniaDziałania
Diagnoza i analiza3 miesiąceAnkiety, analiza zasobów.
Dobór technologii2 miesiąceTestowanie i wybór technologii.
Implementacja6-12 miesięcyDigitalizacja, wdrożenie OCR.
Promocja i edukacja6 miesięcy (równolegle)Warsztaty, kampanie promocyjne.
Monitorowanie i ewaluacjaStały procesZbieranie opinii i doskonalenie.

Podsumowanie

Wdrożenie technologii OCR w archiwach skierowanych na potrzeby twórców kultury i mediów pozwoli zwiększyć dostępność i przydatność zasobów. Kluczem do sukcesu będzie współpraca z partnerami technologicznymi, edukacja odbiorców oraz stała analiza efektów i potrzeb użytkowników.

Odpowiedź jest dość precyzyjna i stanowi solidną bazę. Osoba posiadająca wiedzę i doświadczenie w tym zakresie może szybko ją zmodyfikować, dostosować do swoich potrzeb, a następnie efektywnie wykorzystać. 


wtorek, 11 czerwca 2024

Przewodnik po formatach plików w archiwizacji cyfrowej

Wprowadzenie

Wybór odpowiedniego formatu pliku dla archiwizacji cyfrowej jest kluczowym elementem zarządzania dokumentacją w dzisiejszym cyfrowym świecie. Od odpowiedniego formatu zależy, czy dokumenty będą dostępne w przyszłości.

PDF (Portable Document Format)

PDF jest jednym z najpopularniejszych formatów plików używanych do przechowywania dokumentów. Jego wszechstronność, bezpieczeństwo i możliwości wyszukiwania sprawiają, że jest to doskonały wybór do wielu zastosowań.

  • Wszechstronność: Format PDF jest popularny i łatwy do udostępniania. Dokumenty w formacie PDF można otworzyć na większości urządzeń bez potrzeby instalowania dodatkowego oprogramowania.
  • Bezpieczeństwo: PDF obsługuje szyfrowanie i ochronę hasłem, co zapewnia ochronę poufnych informacji. Można również ustawić uprawnienia do edycji i drukowania dokumentów.
  • Możliwość wyszukiwania: Dzięki technologii OCR (optyczne rozpoznawanie znaków), pliki PDF mogą być przeszukiwane tekstowo. To znacznie zwiększa wydajność wyszukiwania i organizacji dokumentów.

PDF/A (Archiwalny PDF)

PDF/A to specjalna wersja formatu PDF zaprojektowany z myślą o długoterminowej archiwizacji dokumentów.

  • Długoterminowe przechowywanie: PDF/A gwarantuje, że dokumenty będą dostępne w przyszłości, osadzając wszystkie niezbędne elementy bezpośrednio w pliku. To oznacza, że dokumenty będą wyglądać tak samo, niezależnie od używanego oprogramowania czy sprzętu.
  • Standaryzacja: PDF/A jest zgodny z normami ISO, co zapewnia spójność i niezawodność. Dzięki temu dokumenty bardziej przewidywalne i stabilne w długim okresie.

TIFF (Tagged Image File Format)

TIFF jest popularnym formatem do przechowywania obrazów o wysokiej jakości i szczegółowości.

  • Jakość: TIFF jest doskonały do przechowywania obrazów o wysokiej rozdzielczości i szczegółowych dokumentów, takich jak mapy, plany architektoniczne czy ilustracje naukowe.
  • Kompresja bezstratna: TIFF zapewnia brak utraty danych podczas kompresji, co jest istotne dla zachowania jakości obrazów. Dzięki temu format ten jest często wykorzystywany w profesjonalnej fotografii i skanowaniu dokumentów.
  • Popularność: TIFF jest formatem idealnym do długoterminowej archiwizacji. Jego szeroka popularność sprawia, że jest to bezpieczny wybór na przyszłość.

JPEG (Joint Photographic Experts Group)

JPEG to jeden z najczęściej używanych formatów do przechowywania zdjęć i grafiki.

  • Kompresja: JPEG równoważy jakość z mniejszym rozmiarem pliku, co oszczędza miejsce na dysku. To sprawia, że jest idealny do codziennego użytku, gdzie przestrzeń dyskowa jest ograniczona.
  • Popularność: JPEG jest obsługiwany przez prawie wszystkie przeglądarki internetowe i edytory obrazów, co czyni go bardzo uniwersalnym formatem.
  • Przydatność: JPEG jest najlepszym rozwiązaniem do archiwizowania zdjęć i dokumentów niezawierających tekstu. Dzięki swojej popularności jest łatwo dostępny i prosty w użyciu.

DOCX (Microsoft Word)

DOCX jest jednym z najpopularniejszych formatów plików tekstowych, używanym głównie w środowisku biurowym.

  • Możliwość edycji: Pliki DOCX łatwe do edycji i aktualizacji, co jest wygodne w pracy biurowej. Dokumenty można szybko modyfikować, dodawać komentarze i śledzić zmiany.
  • Integracja: DOCX bezproblemowo integruje się z innymi narzędziami pakietu Microsoft Office, takimi jak Excel, PowerPoint czy Outlook. To sprawia, że jest idealnym wyborem dla firm korzystających z ekosystemu Microsoft.
  • Elastyczność: DOCX obsługuje szeroką gamę typów i formatów dokumentów, w tym tekst, obrazy, tabele i diagramy. Dzięki temu można tworzyć złożone dokumenty.

Korzyści z wyboru odpowiedniego formatu

Wydajność: Wybór odpowiedniego formatu pliku usprawnia procesy wyszukiwania dokumentów i przepływu pracy. Na przykład, PDF z technologią OCR pozwala szybko znaleźć potrzebne informacje, co znacząco zwiększa efektywność pracy.

Bezpieczeństwo: Formaty obsługujące szyfrowanie i ochronę hasłem, takie jak PDF, zapewniają ochronę poufnych informacji i kontrolę dostępu. Dzięki temu można zabezpieczyć dokumenty przed nieautoryzowanym dostępem i manipulacją.

Długoterminowość: Wybór formatów takich jak PDF/A czy TIFF, które zapewniają długoterminową trwałość dokumentów, jest kluczowy dla zachowania integralności dokumentów historycznych i finansowych. Format PDF/A, na przykład, gwarantuje, że dokumenty będą dostępne i czytelne w przyszłości, niezależnie od zmian technologicznych.

Zgodność: Formaty zgodne z normami ISO, takie jak PDF/A, spełniają wymogi prawne i dotyczące zgodności, co chroni dokumenty prawne i finansowe przed utratą wartości dowodowej. Dzięki temu można być pewnym, że dokumenty będą akceptowane przez różne instytucje i organizacje.

Podsumowanie

Wybór odpowiedniego formatu pliku jest kluczowym elementem skutecznej archiwizacji cyfrowej. Każdy z omawianych formatów PDF, PDF/A, TIFF, JPEG  i DOCX ma swoje unikalne cechy i zastosowania. Ważne jest, aby wybrać format, który najlepiej odpowiada specyficznym potrzebom wymaganiom użytkownika. Dzięki temu można zapewnić długoterminową trwałość, bezpieczeństwo i dostępność przechowywanych dokumentów.

środa, 2 listopada 2022

Artykuł: What is Intelligent Document Processing? Why is it Important?

INFO: Czemu IDP jest ważne??? Nieustrukturyzowane dane stanowią 80% zawartości danej organizacji, a IDP to automatyzacja ekstrakcji danych z właśnie z danych nieustrukturyzowanych. Co najczęściej oznacza, że generujemy korzyści :)

poniedziałek, 27 grudnia 2021

Artykuł: Document Skills and the Future of Trade Finance

INFO: Inteligentna technologia przechwytywania umożliwia użytkownikom automatyczne przechwytywanie dokumentów oraz wyodrębnianie, przetwarzanie i odzyskiwanie danych ze źródeł papierowych lub elektronicznych, które wpływają później na rozwój biznesu.

poniedziałek, 15 listopada 2021

Konferencja: Przełom w zarządzaniu dokumentacją.

INFO: 18/11/2021 odbędzie się konferencja "Przełom w zarządzaniu dokumentacją." na, której będą poruszane takie tematy jak: 
  • Elektroniczny obieg dokumentów – zarządzanie dokumentacją w firmie;
  • Automatyzacja obiegu faktur kosztowych oraz innych dokumentów wewnętrznych i przychodzących;
  • Efektywne zarządzanie obiegiem pracy wewnątrz organizacji (workflow);
  • Zarządzanie informacją w przedsiębiorstwie (ECM);
  • Digitalizacja dokumentów i OCR;
  • Archiwizacja dokumentów;
  • W jaki sposób sprawnie raportować i analizować dane z różnych źródeł danych bez konieczności wsparcia działów IT;
  • Planowanie i budżetowanie – wsparcie działu kontrolingu.

wtorek, 9 listopada 2021

niedziela, 18 lipca 2021

Skaner - jaki wybrać do pracy

Wybieranie dobrego skanera jest ważną sprawą. Przede wszystkim musimy wiedzieć do czego  skaner (czy też farma skanerów) jest potrzebny. Po co on jest i co chcemy osiągnąć. Czy będziemy skanować  na potrzebny wewnętrzne czy realizować zamówienia klientów. Po drugie skaner musi być dostosowany do zasobu, które chcemy skanować. Jakość, typ i ilość zasobu nie jest bez znaczenia.  W przypadku jakości zasobu dochodzi kwestia ewentualnej konserwacji materiału przeznaczonego do skanowania.  

Wiadomo też, że jeśli mamy zdjęcia do digitalizacji to nie kupimy skanera przelotowego. Tak samo z mapami, gdzie potrzebujemy  płaskiego wielkoformatowego skanera. :)

Przypuśćmy, że mamy farmę skanerów (10 osób skanujący + 2-3 osoby do weryfikacji). Mamy dużo materiału do skanowania i robimy zamówienia dla klientów zewnętrznych. Zamówienia dla klientów zewnętrznych oznaczają tylko, że będzie dużo pilnych zamówień, często dużych objętościowo. 

Duże i pilne zamówienia oznacza także że musimy postawić na skanery przelotowe, których jest ważna tzw. przepustowość tj. czyli dzienna ilość skanów. Mamy więc skanery przelotowe z automatycznym podajnikiem dokumentów (ADF). Dzienne obciążenie 1 skanera powiedzmy to minimum 10 000 stron (10x10000). Piękna liczba, ale w rzeczywistości  przepustowość jest mniejsza z różnych przyczyn np. niepełny skład zespołu, awarie techniczne, przerwy techniczne, poprawki. Tych czynników jest więcej. 

Ważną rolę pełni aktualne oprogramowanie i sterowniki. Te składniki muszą dobre współdziałać ze sobą, być często aktualizowane. Cechy AI, automatyzacja opisów, nazw  i tagów, inteligentne OCR, możliwość integracji z innymi systemami to obecnie postawy podstaw. 

Kolejna sprawa to łatwość obsługi. Oznacza to, że obsługa skanera i oprogramowania musi być maksymalnie uproszczona tak aby w momencie braku składu możemy podtrzymać produkcję skanów bez strat w jakości, bez strat dla klientów. 

Ostatnim punktem to: gwarancja i wsparcie techniczne. Przy dużej ilości skanerów to jest niebagatelna kwestia  (w sumie przy każdej ilości skanerów). Przy farmie skanerów musimy zapewnić gwarancję i wsparcie techniczne przez dłuższy czas, co najmniej 5 i więcej lat. Trzeba pamiętać, że części do skanera lub moduły będą drogie. Konserwacja sprzętowa sama sobie jest w miarę tania, o ile nic nie będziemy wymieniać. Doświadczenia wiem, że to nie możliwe, zawsze coś będzie do wymiany. Takie prozaiczne rolki do skanerów, mogą kosztować nawet 0,5-1k przy jednym skanerze. Konserwacja powinna być przynajmniej dwa razy w roku. 

Mówi się, że skanery powinny mieć możliwość dodawania modułów. Nie jestem zwolennikiem takich rozwiązań, które często są drogie i mało efektywnie. Może przy mniejszym zespole, zasobie będzie miało to sens. Przy naszej farmie skanerów to nie ma sensu. Dla mnie tylko wyspecjalizowane skanery (choć drogie na początku) mają sens.

Nie piszę o formatach cyfrowych. Wszystkie skanery, które można kupić na rynku mają szerokie spektrum wyboru formatów. Trzeba wybrać taki, które zapewni mam optymalną pracę dla nas i optymalny wynik dla klienta. 



poniedziałek, 28 czerwca 2021

Zasoby: Cyfrowe repozytorium polskich przekładów Williama Shakespeare'a.

INFO: Centrum Kompetencji Cyfrowych UW razem z Instytutem Anglistyki UW tworzą cyfrowe repozytorium polskich przekładów Williama Shakespeare'a. Jak to wygląda mniej więcej tak: skanowanie tekstów, robienie OCR i plików z podstawową warstwą semantyczną, a następne metadane.

Cyfrowe repozytorium: http://polskiszekspir.uw.edu.pl/?fbclid=IwAR2TKIWvdWCINoLD6YDUa6aPuVe6cO1h-hctzprW_p89cdCFa3gPzwVOV1s

środa, 5 maja 2021

Felieton: Digitalizacja: OCR

Skanowanie OCR są ważnym elementem w procesie digitalizacji zwłaszcza tekstowych dokumentów. Dzięki temu możemy nie tylko zachować wspomniany dokument, ale możemy wykorzystać go w późniejszym czasie dzięki możliwości edycji tekstu.

Wyróżniamy:

  • OCR (Optical Character Recognition)
  • HCR (Handprint Character Recognition) 
  • ICR (Inteligent Character Recognition) 
  • OMR (Optical Mark Recognition)

Krótko mówiąc OCR umożliwia automatyczne wykrywanie drukowanych znaków na skanowanym dokumencie. Następnie przekształca na edytowalna wersję. Mamy dwie drogi, albo skanujemy od razu z OCR lub dopiero na etapie postprodukcji załączamy proces OCR.

Jak działa skanowanie OCR ???

Najpierw kładziemy dokument na szybie skanera, włączamy oprogramowanie do skanowania, włączamy odpowiednią opcje i naciskamy przycisk "skanuj". Wbudowane oprogramowanie (najczęściej), które wykrywa znaki znajdujące się na dokumencie, a następnie automatycznie konwertuje na cyfrowe wersje. Taki tekst można ręcznie sprawdzić i poprawić. Następnie zapisujemy w odpowiednim formacie np. docx, PDF.

Zalety skanowania OCR

  • Starsze lub nieaktualne dokumenty możemy modyfikować/aktualizować 
  • Tekst można przeszukiwać znacznie przyspieszając wyszukiwanie ważnych informacji (w formacie edytowalnym lub w pliku PDF) Tekst zajmuje znacznie mniej miejsca na dysku niż plik graficzny
  • Archiwizacja dokumentów jest po prostu szybsza

Dokładność skanowania OCR

OCR może być dokładny w 99%. Trzeba spełnić kilka warunków tj.:

  • dobry stan dokumentu
  • tekst w bloku (najlepiej tekst maszynowy)
  • odpowiednie tło dokumentu

Jeśli stan dokumentu jest zły to oczywiście procentowa dokładność spadnie. Dlatego jest niezbędna korekta OCR. Jest to praca bardzo czaso i pracochłonna zwłaszcza przy złym stanie dokumentacji.

Narzędzia wybrane: 

  • ABBYY FlexiCapture, 
  • ABBYY FineReader, 
  • ABBYY FineReader Engine
  • Tesseract OCR 

https://visualhunt.com/f5/photo/4450285105/73971ea3c8/


AI NEWS dla archiwów cyfrowych #1

### DeepSeek-OCR-2 : Zaawansowane optyczne rozpoznawanie znaków Opis: System OCR obsługujący obrazy i pliki PDF, z dynamiczną rozdzielczośc...