筑波大学は2024年7月19日、映像などの無限に流れるデータをリアルタイムで自動的に圧縮し、その後、完全に復元（解凍）できる新技術を開発したと発表した。従来の技術より10～30％圧縮率が高く、IoTやクラウドなどに用いれば消費電力の大幅な削減が期待できる。研究成果は同月16日、「IEEE Access」でオンライン公開されている。
今回の研究では、ASE Codingで1ビットに圧縮可能なエントロピー把握能力と、LCA-DLTの持つユニバーサル性を併せ持つ、新ロスレスデータ圧縮方式「Universal ASE Coding」を開発。これは無限遠のデータストリームを扱うことができ、一度のデータの読み込みで複数のシンボルからなる頻出データパターンを1ビットにまで圧縮可能な新方式となる。また、この仕組みをアルゴリズム化し、圧縮器、解凍器として任意のデータを扱える方法を確立した。
Universal ASE Codingでは、ASE Codingのモジュールをデータの流れるパイプラインに複数配置。パイプラインは圧縮データとオリジナルシンボルのものを配置し、前者には圧縮されたデータ、後者には入力されたシンボルが、入力ごとにそれぞれ流れていく。ASE Codingのモジュールには1個以上のシンボルを担当させ、パイプラインに先行するシンボル列が変換テーブルにマッチしたときに、先行するオリジナルシンボルを無効化し、圧縮データに変換してパイプラインに流していくようにした。そうすれば、入力を止めることなく次々と圧縮処理ができることを発見した。
圧縮処理では、変換テーブルにヒットしたシンボルパターンによってインデックスに変換し、データ量を削減。さらにテーブルのエントリの使用数を元にしたエントロピー計算によってリアルタイムにシンボルパターンの出現頻度を予測し、圧縮データのビット数を最少で1ビットにまで減らせる。パイプラインの出口まで達した圧縮データが有効であれば、それを出力する選択処理を行う。
Universal ASE Codingの仕組みは半導体などの集積回路への実装が容易なことが特徴で、データの滞りが一切なく長いデータの列を1ビットにまで削減できる。このため、超高速通信網や大容量のストレージでもデータ移動時間を短縮し、消費電力を削減する。
Universal ASE Codingは従来のASE Codingに比べて10～30％ほど圧縮効率を改善するが、圧縮効率を高めるファクターの解明がまだ十分ではない。このため、同大学では今後、さらなる解明を進めるとともに、ハードウェア化に向けて可能な限りコンパクトで高速動作する構成を追求し、IoTやクラウドでの活用を図る。また、省電力効率や性能向上率についての研究も進め、社会実装を進めていくという。
